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Abstract. — The itération of rational maps is well-understood in dimension 1 but less so in higlier dimensions. We 
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Introduction 

L'itération des applications rationnelles est très bien comprise en dimension un, un peu moins en dimension 
deux et encore moins en dimension plus grande. Nous nous proposons d'étudier ici des applications spéciales 
sur les espaces de matrices qui présentent une « faible complexité » par rapport à la structure d'anneau. Par 
souci de simplicité nous travaillons sur les matrices 2x2, bien que la plupart du discours se laisse généraliser 
sans problème. 

Dans un premier temps nous nous intéressons aux transformations compatibles à la conjugaison, i.e. aux 
applications rationnelles <î>: fW(2;C) !M(2;C) telles que A<Î>(M)A"^ = 0(AMA"') pour tout A dans 
GL(2;C) et tout M là oii cela a un sens. Un exemple de ce type d'applications est donné par les polynômes 
de matrices. Nous commençons par présenter des propriétés satisfaites par ces transformations comme par 
exemple : l'invariance du groupe diagonal ou encore le fait qu'une telle transformation est birationnelle 
si et seulement si sa restriction à (D l'est. Au centre C = {}dd\X G C} on peut associer la fibration T en 
2-plans définie comme suit : si M désigne un élément de !M{2;C) \ C, on définit (P{M) comme l'unique plan 
contenant M et C : le 2-plan îP(M) n'est rien d'autre que l'ensemble des matrices qui commutent à M. Cette 
fibration est invariante fibre à fibre par toute application rationnelle compatible à la conjugaison. Bien sûr on 
peut considérer l'application Inv de f/Vf(2;C) dans qui à une matrice M associe ses invariants de similitude 
(trMjdetM). Par définition une application rationnelle <î> compatible à la conjugaison laisse invariant le 
feuilletage associé à la fibration Inv ; plus précisément il existe une application rationnelle Sq<î>: — > 
telle que Inv o<î> = SqOoInv. Réciproquement on peut se demander à quelle condition une application 
rationnelle de se relève à f/Vf(2;C), question à laquelle nous répondrons. Évidemment la transforma- 
tion Sq<î> contient une grande partie de la dynamique de l'application initiale <î>. 

Nous nous intéressons ensuite tout particulièrement à l'application <î>id: !M{2;C) — )■ fM{2;C), M i— )• M^, 
exemple typique d'application compatible à la conjugaison. Après avoir donné quelques propriétés satisfaites 
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par cette application, nous décrivons l'adhérence de ses points périodiques ainsi que le bord du bassin d'attrac- 
tion de la matrice nulle qui donne naissance à une intéressante hypersurface LEVi-plate. Une façon de mesurer 
la complexité d'une transformation est d'examiner son centralisateur. C'est dans cette optique que nous dé- 
terminons le groupe Aut(f/Vf(2;C);<î>id) des automorphismes holomorphes de M{2;C) qui commutent à 
ainsi que Bir(!Af(2;C);<î>id) le groupe des transformations birationnelles de !M{2;C) qui commutent à <î>id ; 
le premier est engendré par les applications de conjugaison ap : M i— PMP^' où P appartient à GL(2; C), et 
la transposition M i— >■ 'M. Pour obtenir le second il faut ajouter l'application « inverse » : M i— > M^'. 

Proposition 1. — Le groupe Aut(5Vf(2;C);<î>id) est isomorphe à PGL(2;C) x Z/2Z. 

Le groupe Bir{fM{2;C);^u) est engendré par Aut{!M{2;C);^u) et par l'involution i: Mi— )-M^^ 

Enfin nous considérons des déformations spéciales de ^>id, ^a- ^{2;C) —s- C\{{2;C), M i— AM^ avec A 
dans GL(2;C). Ce sont les applications « monomiales » les plus simples et elles sont en général non com- 
patibles à la conjugaison. Alors qu'à une variable les transformations z i— et z i— > az^ sont linéairement 
conjuguées, la situation ici est plus complexe. Nous précisons tout du moins pour A générique, i.e. pour A de 
\ X 1 

la forme „ i , l'ensemble des orbites périodiques et l'adhérence de cet ensemble : 
. " il 

Proposition 2. — Pour X générique l'adhérence des points périodiques de <Î>a est constituée 

- d'un tore x contenu dans y = z = 0; 

- de deux S' x C, précisément x C x {O} x {O} et {O} x {O} x C x XS^ {en identifiant !M(2;C) = 

l ] |âC4={(^,3;,Z,0|^,3',Z,?eC}); 

- de la matrice nulle. 

Alors que pour z i— )• z^ l'adhérence des points périodiques (différent de 0) est le bord du bassin d'attraction 
de l'origine, nous déduisons de la Proposition 2 que ce n'est pas le cas ici. Nous donnons aussi des exemples 
d'orbites bornées, non périodiques et non contenues dans le bassin d'attraction de l'origine. Le cas oii A 
est une matrice quaternionique est particulièrement riche. Nous effectuons quelques expériences numériques 
afin de mieux comprendre le bassin d'attraction de la matrice nulle, son bord ainsi que la dynamique de 
ce type de transformations. En particulier nous nous intéressons à la restriction de <Î>a à l'ensemble Hi des 
quatemions de module 1 qui est décrite par : {x,y) ^ {é^{x^ + 1^:^ — \),e^'^y{x + x)) ; remarquons qu'elle 
laisse la famille de cercles paramétrée par r] i— (;c,je'^) globalement invariante. La première composante 
de /iî indique comment passer d'un cercle à l'autre ; elle s'identifie à une application de dans lui-même 
ce qui nous permet de déterminer quelques-unes de ses propriétés. Les applications préservent le disque 
unité de et c'est la dynamique dans ce disque qui nous intéresse. Nous avons par exemple réalisé des 
expériences numériques visant à mesurer la façon dont les orbites s'approchent du bord du disque unité et à 
quelle vitesse : 
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Comme dans le cas spécial où A = Id nous détemiinons le sous-groupe des transformations biholomorphes 
de fM{2; C) qui commutent à Oa- 

Proposition 3. — 5/ A est un multiple de l'identité alors <Î>a est conjugué à <î>id, sinon Aut(!Af(2;C);<î>A) 
est formé des ap où ap désigne l'application M PMP^' et P une matrice qui commute à A. En fait 
Aut(f7lf(2;C);<î>A) s'identifie à C* agissant sur %({2;C) de la façon suivante : {x,y,z,t,a) i— )■ [x,ay, ^,t). 
Les orbites de cette action sont aussi celles du champ de vecteurs invariant — z^- 

Remarquons que le bord du bassin d'attraction de l'origine suivant <Î>a est invariant par l'action de ce groupe. 
Beaucoup de questions concernant ces transformations <Î>a restent ouvertes ; nous listons celles qui nous 
paraissent les plus pertinentes, tant sur le plan théorique que d'un point de vue numérique. 

Remerciements. — Nous remercions M. Baker, D. Boucher, S. Cantat, G. Casale, S. Gouëzel et 
F. LORAY pour leur disponibilité. 



1. Généralités 

Rappelons quelques définitions. 

Définitions. — Une application méromorphe /: X — -> Z entre deux variétés complexes compactes est dé- 
finie par son graphe r(/) C X x Z ; ce graphe est une sous-variété irréductible pour laquelle la projection 
Tli : r(/) — X sur le premier facteur est une application holomorphe surjective propre dont la fibre géné- 
rique est un point ([5]). Le lieu d'indétermination de / est l'ensemble des points oii 7li n'admet pas d'inverse 
local, on le note Ind/. L'application / est dominante si la seconde projection 7I2 : r(/) — Z est surjective. 
Notons Exc7i2 l'ensemble des points où 7I2 n'est pas une application finie ; on définit V ensemble exceptionnel 
de / par Exc/ = 7ii (Exc7i2)- 

Dans le cas particulier où /: C"+^ — >■ C"+^ est une application polynomiale homogène ad-hoc représentant 
la transformation rationnelle 

P(/): P"(C) --^r^c), 

un point [m] = (mo : ... : m„) est un point d'indétermination de P(/) si /(m) = 0. Une sous-variété irréducti- 
ble V C P"(C) est contractée çw¥{f) si la dimension de P(/)(y \IndP(/)) est strictement inférieure à celle 
de y. Une telle sous- variété est contenue dans l'ensemble ExcP(/). 

Une application homogène /: C"+^ — )■ C"^' respecte la fibration de HOPF par les droites passant par l'ori- 
gine : une droite d est envoyée par / sur une autre droite f{d) à moins que / s'annule sur d. L'application P(/) 
explique comment sont échangées ces droites par /. 

Nous travaillerons aussi avec des applications rationnelles / : C" — )■ C" qui sont simplement les applications 
dont les composantes f sont rationnelles, i.e. des quotients de polynômes. Pour ces applications on a aussi la 
notion de sous- variétés contractées et d'ensemble d'indétermination qui coïncide avec l'union des pôles des 
composantes. 



Soit M{2;C) 



a b 
c d 



a, è, c, (i G C j ~ l'ensemble des matrices 2 x 2 à coefficients complexes. 
Notons Inv l'application de 'M{2;C) à valeurs dans qui à une matrice associe ses invariants de similitude 
Inv: î7lf(2;C) ^C^, M (trM,det M) 
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avec les notations habituelles. La sous-algèbre de fM{2;C) des matrices diagonales sera notée © 



^1 






^2 



Désignons par diag(Ài ,^2) l'élément 



de ^ et par la matrice nulle diag(0,0). 



Xi 
X2 

Soit <î>: 5lf(2;C) ---> f7lf(2;C) une application rationnelle dominante. Si l'on identifie f7lf(2;(i 
l'on voit comme carte affine de P^(C), alors O induit une application rationnelle notée O de 



que 
dans 



lui-même. Dans le cas spécial où <î> est homogène (<Î>(5M) 
notée P(<î>): F^{C) -^F\C). 



5 <Î>(M)), O induit une application rationnelle 



Définition. — Une application <î>: !M{2;C) — )■ îAf(2;C) sera dite monomiale (relativement à la multiplica- 
tion) si elle est du type 

<Î>(M) = A1MA2M . . . ApMAp+i 
011 les A,- sont des éléments de GL(2;C) fixés. 



Exemple 1.1. 

cul élémentaire montre que si M 



L'application Om: 5lf(2;C) 
X y 
z t 



M{1; C) définie par <î>id(M) = est monomiale. Un cal- 



, alors <î>id(M) 



x^+yz 
z{x + t) 



y{x + t) 
f+yz 



L'application <î>id est 



génériquement finie au sens suivant : pour M générique, #<î>jj^(M) = 4. Si M est une matrice nilpotente, 
le. Inv(M) = (0,0), alors <î>id(M) = de sorte que [M] est un point d'indétermination de P(<î>id). En fait 
l'ensemble Ind(P(<î>id)) des points d'indétermination de P(<î>id) est exactement le projectivisé de l'ensemble 
iA^(2;C) = {m g !?Vf(2;C) |lnv(M) = (0,0)} des matrices nilpotentes ; c'est donc une conique plane lisse. 
Remai^quons que l'image de <î>id est précisément 



La sous-algèbre s 1(2; ( 



W = {(i]u[M{2;C)\9i{l;i 
{m g M{2;C) I trM = 0} est contractée par sur le centre C = {Àld | À G C} . 



Remarquons que les matrices triangulaires supérieures forment un sous-espace invariant par <î>id, de même 
que les matrices triangulaires inférieures, et bien sûr (D, qui est leur intersection. Leurs projectivisés sont 
invaiiants pai^ P(Oid). De la même façon la quadrique Q,= {M G !7Vf(2;C) | det M = 0} est complètement 
invariante par <î>id. On peut aisément vérifier que le détenninant jacobien de <î>id est 

detjac<î>id,„, =4(ti-M)2detM; 

de plus, lorsque det M = nous avons Oid(M) = (trM)M. En résulte que le projectivisé des matrices de trace 
nulle P({M g M{1\C) \ trM = O}) est la seule surface de P^(C) contractée par P(<î>id). Nous reviendrons 
plus tard (§3) sur la dynamique de l'application <î>id qui se réduit peu ou prou à celle de z 1— )• dans le 
plan complexe (ne serait-ce que via la formule detM^ = (detM)^ qui induit une « semi-conjugaison ») mais 
produit des objets intéressants. 

Définition. — Soit f7lf(2;C) --^ 9t{{2;C) une application rationnelle. On dit que O est compatible à la 
conjugaison si 

A<Î>(M)A"^ =<Î>(AMA"^) 
chaque fois que M et AMA"^ sont dans 51/(2; C) \Ind<î>. 

Notons que si <î> est compatible à la conjugaison, alors Ind<î> est invariant sous l'action adjointe AMA^'. 
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Ainsi l'application <î>id définie précédemment est compatible à la conjugaison ; il en est de même des po- 
lynômes d'endomorphismes. Plus généralement si r{s) = P{s)/Q{s) est une fonction rationnelle en une va- 
riable s, alors r(M) = /'(M)2(M)^^ définit une application rationnelle compatible à la conjugaison. Une 
application compatible à la conjugaison induit une application de l'espace quotient îTVf (2;C)/conjugaison. 
Tout ceci se généralise évidemment en dimension quelconque. 



dans C*. L'algèbre s[(2; C) n'est pas toujours contractée par <î>a,d; par exemple pour M 



et J = 3 



Remarque 1.2. — Une application monomiale compatible à la conjugaison est du type <î>a,i/(M) = aM , a 

X y 

nous avons 

t3 _ t,2 , „„^ [ X y 

Dans ce cas les matrices de trace nulle sont fixes pour l'application P(a>(x,3) induite surP3(C) =P(f7lf(2;C)). 
On constate que l'ensemble d'indétermination de P(<î>a,ii) est encore le projectivisé de 9{j2;'C). Plus géné- 
ralement nous avons en restriction à 5[(2; C) 

M^'^ = +yzY\à, m2^+^ = {x^+yz)''M. 

Remarque 1.3. — Soit <î> l'application monomiale définie par <Î>(M) = AiM . . . A„MA„+i , n>2. Quitte à 
conjuguer <î> par un automorphisme de fM{2;C) du type M i— )• PMQ on peut supposer que A„ = Id. On en 
déduit après cette conjugaison que l'ensemble 9{^{2;C) des matrices nilpotentes est aussi contracté sur 0. 
A conjugaison près par M i— >■ pM on peut se ramener à det<î>(M) = (detM)". En particulier les hypersurfaces 
quadratiques {M G !M{2; C) | detM = s} sont invariantes par l'itéré <î>'' pour chaque racine {nP — 1)— ième de 
l'unité. Évidemment les quadriques {M G !M{2;C) \ detM = 0} et SL(2;C) = {M G !M{2;C) \ detM = l} 
sont invariantes par <î>. 

2. Applications compatibles à la conjugaison, propriétés et exemples 

2.1. Premières propriétés. — Il est à peu près clair qu'une application compatible à la conjugaison est déter- 
minée par sa restriction aux matrices diagonales. Précisons celà. 

Lemme 2.1. — Soit <î>: fM{2;C) !M{2;C) une application rationnelle compatible à la conjugaison. 
Alors T) est invariant par i.e. 0(2) \ Ind<î>) C T). 

Démonstration. — Remarquons que, par densité des matrices diagonalisables, ® n'est pas contenu dans Ind^>. 
Soit M un élément de !Z)\Ind<î>; en particulier M commute à diag(l,2) d'où 

<Î)(M) = <î>(diag(l,2)Mdiag(l,l/2)). 

Puisque <î> est compatible avec la conjugaison nous avons <Î>(M) = diag(l,2)<î>(M)diag(l, 1/2); cette égalité 
assure que <î>(M) appartient à 2). □ 



Remarque 2.2. — Si O est dominante, nous avons l'égalité ^>(îD\IndO) = 2) où l'adhérence est prise au 
sens ordinaire. 

Si <î> est compatible à la conjugaison nous avons <î>(diag(?ii,X2)) = diag((pi(Ài,À2),cp2(Xi,?i2)) où les cp,- sont 
rationnels (Lemme 2.1). Mais comme les matrices diag(?ii,À2) et diag(À2,Xi) sont conjuguées par ^ ^ 



nous avons 

<î> (diag (?i2 , ) ) = diag (cp 1 (À2 , ) , cp2 (À2 , ) ) = diag (cp2 (Ài , ) , (Pi (î^i A2 ) ) • 
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Par suite 

<î>(diag (Ài , X2) ) = diag (cpi (Ài , ^2 ) , cpi (X2 , ) ) ■ 
Inversement soit --^ C une fonction rationnelle ; si M est une matrice 2x2 générique, M s'écrit 

Pdiag(Ài,?i2)P^' et on définit 

<Î>(M) = Pdiag(»î'(Ài , X2),'¥{X2,h))P''. 

Cette définition ne dépend ni du choix de P, ni de l'ordre choisi pour énumérer les valeurs propres. Par suite <î> 
s'étend en une application rationnelle de 5lf(2;C) dans !M{2;C). 

Les propriétés et la dynamique de <î> sont essentiellement codées pai^ celles de l'application coiTespondante 
(^^(Xi ,?i2),*î'(?i2,?ii)). En particulier nous avons la : 

Proposition 2.3. — Soit <î>: !M{2;C) fM{2;C) une application rationnelle compatible à la conjugai- 
son ; O est birationnelle si et seulement si sa restriction *î' = <î>|2): T) --^ 'D l'est. 

Démonstration. — Supposons que = <î>|2) soit birationnelle, ou ce qui revient au même génériquement 
injective. Soient A, B dans M{2;C) diagonalisables, i.e. A = Pdiag(Ài,?i2)P^' et B = Qdiag(/Ji ,/j2)Q^'- Si 
<Î>(A) = <Î>(B), nous avons 

Pdiag(»î'(Ài,X2),»î'(À2Al))P"' = Qdiag(»î'(A/i,^2),»î'(;U2,^l))Q"^ 

Par suite ^{Xi^Xj) vaut ,^2) ou *î'(/^2,A'i)- Quitte à modifier Q nous pouvons supposer que *î'(?ii,À2) = 
^(;Ui,^2) et *î'(?i2,?ii) = *î'(/j2,A'i)- Puisque = est injective nous avons (Xi,À2) = (/ji,/J2)- Ainsi 

A = Pdiag(Ài,X2)p-' et B = Qdiag(A/i,/i2)Q"'. 

L'égalité <Î>(A) = 0(B) implique Q-ipdiag(»î'(?ii,?i2),»î'(?i2,?ii))P"'Q = diag(»i'(>ii,À2),»i'(X2Ai)) ; il en 
résulte que Q^P est une matrice diagonale D. Par suite 

A = Pdiag(?ii,À2)P"' =QDdiag(Ài,?i2)D-iQ-i = Qdiag(Ài,À2)Q"^ =B. 

Ainsi si est birationnelle, alors <î> l'est. □ 

Dans le même ordre d'idée on peut se demander si une transformation polynomiale (resp. un automorphisme 
polynomial) de ©dans lui-même du type {^{X\,'k2),^{^2,'^\)) induit une transformation polynomiale (resp. 
un automorphisme polynomial) équivariante de 9d{2;C) dans lui-même. 

Désignons par x l'involution de définie par t(Ài,?12) = (À2,?li). 

Proposition 2.4. — Soit r] : 2) — © une transformation polynomiale x-équivariante, i.e. du type 

ri(Ài,À2) = (»î'(XiA2),»î'(^2Al))- 

Alors r] s'étend en une application <î>: iAf(2;C) — )• iAf(2;C) polynomiale et compatible à la conjugaison. 

Démonstration. — Soit A C M{2\ C) l'hypersurface discriminante : A = {M G M(2\ C) | (trM)^ - 4detM = 0} . 
Sa trace sur 2) est constituée des multiples de l'identité : A = {Àld | À S C*}. Comme nous l'avons vu on 
peut étendre r\ en une application rationnelle 'M{2;C) — C\{(2;C). Par construction <î> est holomorphe 
en restriction à !M{2;C) \ A. Soit Mq = ^u^ld un point de A; cette même construction assure que <î> reste 
bornée sur un petit voisinage '^'(Mo) de Mo privé de A. Il résulte du théorème d'HARTOGS que O s'étend ho- 
lomorphiquement à 'î^(Mo). Ce raisonnement montre qu'en fait <î> est holomorphe sur un voisinage de îDn A. 
Mais si M appartient à A, l'orbite adjointe de M coupe ce voisinage. Par conséquent <î> s'étend holomorphi- 
quement à ïAf (2;C). Comme <î> est rationnelle nous obtenons le résultat annoncé. □ 

Les Propositions 2.3 et 2.4 impliquent l'énoncé suivant. 
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Corollaire 2.5. — Un automorphisme polynomial x-équivariant de 'D dans lui-même s 'étend de façon unique 
en un automorphisme polynomial de f^(2;C) dans ^M{2;C) compatible à la conjugaison. 

Définitions. — Soient /: X — X une application rationnelle dominante et ^ un feuilletage sur X; on dit 
que ^ est invariant pai' / si /* ^ = 0' ■ Plus précisément si m est un point générique de X, alors ^ est régulier 
en m, i.e. donné par les niveaux d'une submersion locale g: ^{m) — )• d'un voisinage de m dans C'^; de 
même m est générique pour /, i.e. m est une valeur régulière de /. Pai^ suite go / est une submersion en 
chaque point de f^^{m) ce qui permet de définir les feuilles locales de f*J^ comme les niveaux de go/. 
Supposons que ^ soit défini par une fibration, i.e. la feuille générique de ^ est la fibre générique d'une 
application rationnelle g: X — 7; on dit que / préserve la fibration si /* = iF. On dit que / préserve 
la fibration fibre à fibre û go f = g. 

Définitions. — Un automorphisme élémentaire de est, à conjugaison près (dans le groupe des automor- 
phismes), de la forme suivante 

{ax + P{y),^y + t, a,pGe,YGC,PGCM. 

Une transformation de HÉNON est par définition une transfomation de la fome {y,P{y) — ôx) où ô désigne 
un élément de C* et P un élément de C \y] de degré supérieur ou égal à 2. 

Remarque 2.6. — Les automorphismes élémentaires correspondent précisément aux automorphismes poly- 
nomiaux qui préservent une fibration rationnelle. 

Étant donné un automorphisme polynomial / de C^, nous avons l'alternative suivante ([6]) 

- / est conjugué à un automorphisme élémentaire ; 

- / est conjugué à un produit de transformations de HÉNON ; dans ce cas on dit que / est de type HÉNON 
généralisé. 

Soit r] un automorphisme polynomial équi variant de îD dans lui-même, i.e. r] commute à la permutation x = 
(À2,?Li). En particulier sa ligne de points fixes j = x est préservée par r\ qui du coup possède une courbe 
algébrique invariante. Il s'en suit que r\ ne peut être de type HÉNON généralisé (un tel automorphisme ne 
préserve pas de courbe algébrique, [1]). Il est nécessairement élémentaire ; nous en déduisons que r] laisse 
invariante une fibration, d'où le résultat suivant. 

Théorème 2. 7. — Soit <î> : !M{2;C) — )• !M{2; C) un automorphisme polynomial compatible à la conjugaison. 
Alors 0|2) est un automorphisme élémentaire ; en particulier O préserve une fibration L: fAf(2;C) — )• C 
polynomiale transverse à 'D au sens où L^rp: Œ) ^ C est non constante. 

Exemple 2.8. — L' automorphisme polynomial (Xi,X2) ^ {Xi + (À2 — Xi)^,?i2 + (ki —^12)^) de îD dans "D 
se relève en 

x+{t-xf + 4yz y 

z t + {t -xf +4yz 

Ici la fibration invariante L est {x — t) = cte. Notons que l'hypersurface discriminante {M G fM{2; C) | (trM)^ — 
4detM = 0} est fixée par F ; on peut vérifier que c'est exactement l'ensemble des points fixes Fixf de F. 

Remarquons que la fibration y/z = cte est invariante ; nous verrons plus loin que ceci est un fait général. 



X y 






Z t 





La proposition qui suit se vérifie par un simple calcul formel. Elle donne en particulier une version effective 
des énoncés 2.3, 2.4 et 2.5. 



8 



DOMINIQUE CERVEAU & JULIE DÉSERTI 



Proposition 2.9 . — L'application rationnelle x-équivariante r\: (Ài,?i2) — (*î'(Ài,?i2),*î'(X2,Xi)) se re- 
lève en l'application <î>: 9v[{2',C) 9v[{2;C) compatible à la conjugaison définie par 



X y 
z t 



^>i'(^l,^2)+'i'fe,^l) + ^W^2,^l)-'P(^l,^2)) 
f f>P(^l,^2)-ï'fe,Çl 



i('P(^l,^2) + 'i'fe,Çl) + ^W^l,^2)-'Pfe,^l)) 



OU 



^ = ^{t-xf+Ayz, ^1 = \{t+x + ^) et^2 = ^{t+x-A). 



Dans les foimules ci-dessus nous choisissons une détermination de la racine de {t — x)^ + 4yz. Un calcul 
de monodromie élémentaire montre que les composantes de <î> sont uniformes. Elles sont rationnelles (resp. 
polynomiales) si r\ l'est. 

2.2. Exemples. — 

Applications de la Proposition 2.9. — - Les applications r] : îî> — )• © linéaires x-équivariantes sont du 
type ri(Ài,?i2) = (aXi +bX2,b'ki +(2X2). Une telle application se relève en 

ax + bt y{a — b) 
z{a — b) at + bx 

Ces transformations forment une algèbre commutative de dimension 2. Remarquons que r] est inversible 
si et seulement si — 7^ ; les inversibles constituent un groupe abélien. 

Une transfonnation homographique r] commute à l'involution x si et seulement si elle est de la forme 

aX\+bX2 + c aX2 + bX\+c 



X y 






z t 





A(?ii+À2)+C'A(Ài+?i2)+C 



Elle se relève en 



X y 




_ Z t _ 





ax+bt+c 
A{x+t)+C 
z{a-b) 



y(a—h) 
A{x+t)+C 
at+hx+c 



A{x+t)+C A(x+t)+C _ 

L'ensemble de ces relevés (inversibles) forme un groupe qui est le projectivisé du groupe G engendré 
par les matrices inversibles 



a 


b 


c 








b 


a 


c 








A 


A 


C 

















a — b 

















a — b 



son algèbre g est engendrée par les matrices X, Y, Z, U et V données par 



1 1 

1 1 





















1 

10 



1 

1 



10 

10 







10 

10 



-1 









110 
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L'algèbre engendrée par X, Y et Z est isomorphe à sl(2; C). On peut vérifier que g est un produit semi- 
direct de l'algèbre commutative engendrée par U, V et de celle engendrée par X, Y et Z. 

Le Théorème 2.7, ou le fait qu'il n'y ait pas d'automorphisme de type HÉNON généralisé commutant à {y,x), 
ne peiTnet pas de construire un automorphisme de fA{{2; C) compatible à la conjugaison dont la restriction à (D 
soit de type HÉNON généralisé. Par contre on peut constmire des transfomations birationnelles compatibles 
dont la restriction à (D est birationnellement conjuguée à un automorphisme de HÉNON. Dans l'exemple 
qui suit nous « tordons » un automoiphisme de HÉNON afin d'obtenir une transformation birationnelle qui 
commute à x, transformation qui s'étend à 5lf (2;C). 

Exemple 2.10. — Soit r\ la transformation birationnelle définie par 

'3x^ -x^y + 5xy^+y^ -lOx'^ -4xy-my^ + l2x+l2y-?, 



^ix,y) 



{x + y-2){x-y)^ 
x^ + 5x^y -xy^ + 3y^ -lOx^-Axy- lOy^ + nx+lly- 



{x + y-2){x-yY 

notons que r] et x commutent. Pour obtenir r\ nous avons conjugué l' automoiphisme de HÉNON h = {y,y^ — x), 
automorphisme qui commute à {—x,—y), par la transformation ^ ^ qui conjugue {—x,—y) à X. 

Ce r\ se relève en l'application <î> de 9v[{2;C) dans lui-même donnée par 



X y 
Z t 



'ix^+t^+5xt'^+%xyz-^t-Axt-\0[fi+x^)-\èyz+n(t+x)-% 2y 

{(t-xY+Ayz)(t+x-2) t+x-2 

2z x^+3t^-xt^+5x^t+?,yzt-W{x'-+t^)-Axt-\6yz+n{t+x)-i 

t+x-2 ({t-x)'^+Ayz){t+x-2.) 



La transformation birationnelle <î> hérite des propriétés de l' automoiphisme de HÉNON : en particulier l'en- 
semble de JULIA de h induit un ensemble de « type Julia » invariant par O et l'action adjointe de GL(2; C) 
sur fW(2;C). 

2.3. Fibrations, feuilletages, tissus, coniques invariants et application squelette. — Revenons encore à 
*î'id(M) = pour laquelle nous allons dégager un ensemble de fibrations invariantes pour certaines « uni- 
verselles ». Comme on l'a vu, le pinceau d'hyperplans associé à la fibration y/z est invariant par <î>id fibre à 
fibre, ce fait se généralise à toute application compatible à la conjugaison (Proposition 2.9) : 

Proposition 2.11. — Soit f7lf(2;C) !M{2;C) une application rationnelle compatible à la conjugai- 
son. La fibration donnée par les niveaux de y/z et le feuilletage associé au champ yj-^ — Zj: sont invariants 
par <î>. 

Remarque 2.12. — Sous les hypothèses de la proposition précédente le pinceau d'hyperplans associé à la 
fibration y/z est invariant par <î> fibre à fibre, i.e. les orbites de <î> sont contenues dans les hyperplans y/z = cte. 
Le flot du champ de vecteurs donné par (;c,ye',ze^*,f). Ses trajectoires sont les fibres de la 

fibration en coniques ïAf (2;C) —s- C^, {x,y,z,t) i— s- {x,yz,t). La fibration précédente est conservée globalement 
par <î> mais pas fibre à fibre. 

Notons que <î>id laisse aussi la fibration ^ = cte invariante fibre à fibre. 

Considérons dans M{2;C) la droite C = {?ild|?i G C}, i.e. le centre de 9K{2;C) pour sa loi d'algèbre. 
À C on peut associer la fibration î' en 2-plans définie comme suit : si M appartient à fM{2; C) \ C, on 
définit îP(M) comme l'unique plan contenant M et C. Si M est un élément de !M{2;C), alors ^P{M) est 
exactement l'ensemble des matrices qui commutent à M. On peut aussi remarquer que le plan générique 
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îP(M) est un conjugué de : si P diagonalise M, i.e. PMP^' appartient à "D, alors îP(M) est inclu dans 
PîDP^^ et donc égal. Ceci induit un feuilletage singulier en 2-plans qui est invariant par <î>id feuille à feuille. 
En effet soit + tld dans fP(M) ; on constate que 

<î>id(5M + tld) = /M^ + 2stM + fyd 

commute visiblement à M. Par suite les orbites de sont dans les 2-plans du pinceau Ainsi l'application 
P(<î>id) : P^(C) — -> P^(C) laisse invaiiante la fibration en droites P(îP) : ce sont les droites de P-'(C) passant 
par [Id] = (1:0:0:1). Nous avons des propriétés analogues pour les transfonnations homogènes 
compatibles à la conjugaison. 

Si M est un point générique de !M{2; C) l'adhérence de ZARISKI de son orbite par <î>id est un 2-plan (car c'est 
le cas pour un élément générique de "D). Fax conséquent il n'y a qu'une seule fibration en surfaces invaiiante 
fibre à fibre pai- <î>id, la fibration ^P. Notamment la fibration est donnée pai^ les niveaux de l'application 

rationnelle ce que l'on peut voir de façon directe. 

En fait l'invariance de se généralise à toutes les applications compatibles à la conjugaison. 

Proposition 2.13. — Soit <î>: !M{2;C) --^ !M{2;C) une application rationnelle compatible à la conjugai- 
son ; O préserve la fibration en 2-plans T fibre à fibre. 

Démonstration. — D'après le Lemme 2.1 nous avons <î>(îZ)\Ind<î>) C 2). Comme un plan générique îP(M) 
de ¥ est un conjugué de D, îP(M) est invariant par <î>, d'où le résultat. □ 

Remarque 2.14. — Comme on l'a vu, par définition de la fibration (P, <î> préserve (P fibre à fibre si et seule- 
ment si <Î>(M) commute à M pour tout M dans !M{2;C). Ceci peniiet de vérifier qu'il existe des applications 
prései-vant qui ne sont pas compatibles à la conjugaison. 

La proposition qui suit est conséquence directe de la définition de la compatibilité. 

Proposition 2.15. — Soit O: fM{2;C) !M{2;C) une application rationnelle compatible à la conjugai- 
son. Alors <î> laisse invariant le feuilletage associé à la fibration Inv. Plus précisément il existe une application 
rationnelle SqO: telle que l'on ait le diagramme commutatif suivant 

M{2;C) -^M{2-X) 



Inv 



Inv 



ir2 

Remarque 2.16. — Les fibres de Inv sont des surfaces quadratiques : x + t = cte, xt — yz = cte. 

Remarque 2.17. — Il y a des applications qui préservent la fibration Inv sans être compatible à la conjugai- 
son : pai- exemple soit M i— P(M) une application polynomiale de M{2; C) dans lui-même telle que detP ^ 0. 
Alors l'application M i— )• (P(M))^^MP(M) respecte la fibration Inv mais n'est pas, en général, compatible à 
la conjugaison. 

Inversement on peut se demander à quelle condition une application rationnelle de £? se relève à iAf(2;C) 
via Inv. La réponse est donnée par l'énoncé suivant : 

Proposition 2.18. — SoitW: — ^ C^, (m,v) — ^ {S{u,v),T {u,v)) une application rationnelle. Alors W 
s'écrit Sq<î> pour une certaine application rationnelle <î>: fW^(2;C) 9v[{2\C) compatible à la conjugaison 
si et seulement si (5^ — AT)o Inv est un carré dans le corps des fonctions rationnelles C(m, v). 
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Démonstration. — Par restriction aux matrices diagonales il suffit de résoudre en ^ : 

S(Ài+À2Al^2)=»î'(^lA2)+»î'(^2Al), r(Ài+À2Al^2)=»î'(^lA2)»î'(^2Al). 

Par élimination de ^^(ÀiAi) nous obtenons 

, X2) - + ^2 Al^2m^l A2) + + ^2 Al^2) = 

d'où le résultat. □ 

Exemple 2.19. — L'application Sq^y est donnée par SqOid(M, v) = {u^ — 2v, v^). Alors que l'extension 
de à P^(C) n'est pas un endomorphisme (puisque la quadrique {M G !M{2;C) |lnv(M) = (0,0) | est 
d'indétermination), celle de Sq<î>id à F^{C) l'est. 

Notons que la conique v = ^ est invariante par Sq<î>id : c'est l'image par Inv de l'hypersurface discriminante 

{Mg f¥(2;C) |4detM-(trM)2 = 0}; 
c'est donc aussi l'image de l'orbite sous l'action adjointe du 2-plan : 



1 




1 




Ses tangentes définissent un « 2-tissu » complètement invariant par Sq<î>id (i.e. invariant par images directe 
et réciproque) : 




Exemple 2.20. — Considérons cette fois l'application <î> compatible à la conjugaison définie par 0(M) = 
M + M~^ Son extension P(<î>) : P'^(C) --^ P'^(C) est la transformation de degré trois 

¥{(£>): (x : y: z : t : w) {x5 + tw^ : j(ô-w^) : z(ô-w^) : t5 + xw^ : wô), 5 = xt -yz; 

elle préserve la fibration y/z = cte. Il y a un seul point d'indétermination à distance finie ; à l'infini l'ensemble 
d'indétermination est donné par ô = w = 0. Une matrice de déterminant nul va à l'infini sur sa matrice de 
cof acteurs. 

La restriction de <î> à ® induit l'application (?ii,?i2) 1— )• (Xi + ,X2 + )^2^) . Nous en déduisons l'application 
Sq<î>: — > donnée pai- 

U _ 1 



(m,v) I-)- - + M,vH 2 + 

\ V V V 

Elle se prolonge en l'endomorphisme (m, v, w) 1— )• {u{v + w) : (v — w)^ + : vw) de P^(C) qui préserve uni- 
quement deux droites (celle d'équation u = 0, resp. w = 0). Ceci donne un autre exemple qui montre que 

l'appUcation Sq peut avoir une extension holomorphe à P^(C) alors que l'extension <î> de <î> à P'*(C) est seule- 

2 

ment rationnelle. La courbe C d'équation v = ^ est encore invariante par SqO. Comme dans l'Exemple 2.19 
la famille des tangentes à C est un 2-tissu invariant par Sq<î>. La famille des fonctions rationnelles X (z + |) 

sur P' (C) a été étudiée en détail dans [9]. Pour deux valeurs de X spéciales = il s'agit d'un exemple de 

LattÈS. L'application induite correspondante t^x: !M{2;C) --^ !M{2;C) définie pai" Ç;,(M) = ^(M + M"') 
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hérite de ses propriétés ; par exemple pour A, = ±5 l'ensemble P&r^x des points périodiques de C,x est dense 
dans fW(2;C). 

Exemple 2.21. — Soitç^: f7lf(2;C) îAf (2; C) définie par Çc (M) = M^ + cId. La restriction de à ® induit 
l'application (ki,X2) ^ {X\ + c,X2 + c) d'oii l'application rationnelle 

SqÇf : — ^ C^, (m,v) ^ (m^ -2v + 2c,v^ + c(m^ -2v) +c^); 

elle se prolonge en un endomorphisme de P^(C). La conique C d'équation v = ^ est invariante par Sqç^ et 

2 -y 

la dynamique de Sqç^c est conjuguée à z 1— )• y + 2c qui est conjuguée à z 1— )• z + c (via z 1— )■ |). 

De plus, comme toute application compatible, laisse j/z = cte et invariantes fibre à fibre. 

Ici encore l'hyperplan s[(2; C) est contracté sur la droite C • Id; plus précisément Çic{x,y,z, —x) = {x^ +3'z)Id 

et la restriction de Çc à C • Id se traite évidemment comme z 1— )• z^ + c. 

2 

Au vu des exemples précédents on peut se demander si le fait que la courbe C d'équation v = ^ soit invariante 
par Sq<î> est un fait général. La proposition qui suit donne une réponse paitielle. 

Proposition 2.22. — Soit <î>: f7tf(2;C) — )• f7lf(2;C) un automorphisme polynomial compatible à la conju- 
gaison ; l'hypersurface discriminante A = |M G fAf(2;C) 1 4detM — (trM)^ = O} est invariante par <î> d'où 

2 

l'invariance de la conique v = \ par Sq<î>. 

Démonstration. — Raisonnons par l'absurde : supposons que l'hypersurface A ne soit pas invariante. Il existe 
donc Mo non diagonalisable dans A tel que <î>(Mo) soit diagonalisable d'oîi l'existence de Mq dans A tel que 
^>(Mq) soit diagonale. L'ensemble ©Mq®^^ est de dimension supérieure ou égale à 1 et, pour tout D dans 
®, nous avons <î>(DMoD"') = Da>(MQ)D"i = ^>(Mo) : contradiction. □ 

Remarques 2.23 . — Cette démonstration s'étend aux applications polynomiales <î> de !M{2;C) dans lui- 
même qui ne contractent pas de courbe sur un point. Remarquons aussi qu'une application de la forme 
4detM-^trM)^ ' ^ désigne une application polynomiale compatible à la conjugaison, n'est pas bien définie 
sur A. 



L'Exemple 2.20 monti'e que cette conique peut aussi être invariante dans le cas non injectif. 



Proposition 2.24. — Soit <î> : 5lf (2; C) - 5Vf (2; C) une transformation compatible à la conjugaison. Alors <î> 
est birationnelle si et seulement si SqO l'est. 



Démonstration. — Supposons Sq<î> non (génériquement) injective. Ceci signifie que <î> envoie (au moins) 
deux orbites de l'action adjointe sur une seule et ceci génériquement ; en particulier O est non injective. 
Réciproquement on sait que <î> est birationnelle si et seulement si <î>[/2) l'est. Si on identifie <î>|2) à une appli- 
cation rationnelle cp: (x,?) 1— {a{x,t),b{x,t)) de dans lui-même, l'injectivité de Sq<î> se traduit par celle 
de {x,t) I— s- (a{x,t) + b{x,t),a{x,t)b{x,t)) et donc celle de cp ; la transformation <î> est donc birationnelle. □ 

Remarque 2.25. — Soit <î>: fM{2;C) — -> !M{2;C) une transformation compatible à la conjugaison. Si l'ap- 
plication SqO est triviale, alors <î> est triviale ou <î>: M i-> (detM)M"'. En effet si Sq<î> = id, alors <î>|2) 
coïncide avec {x,t) 1— {x,t) ou {x,t) 1— s- {t,x); la Proposition 2.9 permet de conclure. 
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3. Dynamique de <î>id 

Soit <î>: fM{2;C) --^ !M{2;C) une application rationnelle ; notons K(<î>) le corps des fonctions rationnelles 
invariantes pai^ <î>. Un élément de K(<î>) est une fonction rationnelle /: !M{2;C) P^(C) telle que/o<î) = /. 
Revenons à l'application <î>id: !M{2;C) M{2;C), M : 

z{x + t) f+yz 

Comme <î>id laisse le feuilletage en 2-plans invariant, chacune de ses orbites est contenue dans un certain 2- 
plan de ¥. Au niveau algébrique ceci se formalise de la façon suivante : 



X y 
z t 



Théorème 3.1. — Les fonctions invariantes par <î>id sont engendrées par t et i.e. K(Oid) = C (7, 

Démonstration. — Soit / une fonction rationnelle invariante par <î>id. Il suffit de montrer que / est constante 
sur chaque 2-plan de ¥. Plus précisément il suffit de l'établir pour un ensemble dense de tels 2-plans, par 
exemple sur les 2-plans du type suivant 

n(p) = |pdiag(x,OP"' (x,?)ec2} 

où P est une matrice inversible fixée. La condition d'invariance implique les égalités suivantes 

f(pdiag{x^\t^")p-')=f{Pdiagix,t)p-'), 



pour tout n dans Z. 

Ainsi / est constante sur l'orbite 0(Pdiag(;co,?o)P^;*î*id) de Pdiag(;co,?o)P^ par ^id qui, pour un choix 
générique de {xo,tQ), est ZARISKI dense dans n(P). Par suite / est constante sur chaque n(P) et donc sur 
chaque 2-plan de îP. □ 

Si <î>: !M{2;C) — ■>■ 5Vf (2;C) est compatible à la conjugaison, sa dynamique hérite de cette compatibilité. Par 
exemple si M est périodique pour <î>, i.e. <Î>'^(M) = M pour un certain k, alors toute l'orbite 

{AMA^^ |AgGL(2;C)} 

de M est bien sûr périodique. De même tout ensemble S invariant par <î> a son saturé { AS'A^ ' | A G GL(2; C) } 
invariant par <î>. 

3.1. Points fixes, points périodiques. — Nous nous intéressons aux points périodiques de l'application <î>id. 

ï X 

Comme <î>id est compatible avec la conjugaison il suffit de tester les matrices de JORDAN du type 



(c'est-à-dire étudier les points périodiques de <î>id|j,) et 



X 1 
X 



X2 

On vérifie que les points fixes de <î>id 



sont 0, Id et les matrices conjuguées à 



1 




; autrement dit les points fixes sont 



{0,Id}u{MG 5Vf(2;C)|lnv(M) = (1,0)}. 

L'étude de <î>id|j, repose sur celle de X2' z^ z^ dans le plan complexe. Rappelons que l'ensemble de JULIA 
de X2 est le cercle unité et que le point est super-attractant. Si < |z| < 1 les itérés de z convergent vers ; 
si |z| > 1 les itérés de z tendent vers l'infini (si on compactifie C, l'infini est aussi super attracteur). Les points 
périodiques autres que et 00 sont donc sur le cercle unité. Pour décrire l'orbite de e^"^* sous l'action de X2 
on choisit d'écrire û sous fome 2-adique : û = Y,n>i ^ ^^ec £„ G {0, 1}. On peut ainsi coder un point de 
par la suite £ = (si, 82, . . .). L'action de Xi dans l'écriture 2-adique des angles est le shift (£i,£2,£3, . . .) — )• 
(£2,£3,£4, . . .). Un point de associé à une suite £ périodique est lui-même périodique pour X2 ; tous les 
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points périodiques sont de cette fomie. Ce sont aussi les racines (2" — l)-ième de l'unité qui sont bien sûr 
denses dans le cercle Si z est un point générique de alors l'orbite de z par X2 est dense dans le cercle. 



En identifiant 2) à et ^>id|j, à (x^,?^) les points périodiques de <î>id|,j, sont, outre (0,0), de l'un des types 
suivants 

où les Xk„ et tk„ parcourent les racines (2" — l)-ième de l'unité. Notons que l'ensemble 

est dense dans le tore x S' . Les ensembles S' x {O} , {O} x S' et S' x sont <î>id|j, -invariants, de même que 
les ensembles {|jc|<l,|?|<l},{|;c|<l,|?| = l},{|;c|<l,|?|>l} etc. Si M est une matrice diagonalisable, 
alors l'orbite 0(M;Oid) de M coïncide avec celle de diag(Ài,?i2) où les À,- sont les valeurs propres de M 
de sorte que la description de l'orbite de M ne dépend que de ses valeurs propres. En particulier tous les 
éléments conjugués aux diag(.ï^,, ,?^J sont périodiques de période 2" — 1. Dans le même ordre d'idée si les 
valeurs propres Ài, X2 de M sont en module strictement inférieures à 1 , alors lim <î>jjj(M) = 0. 



Reste à décrire l'orbite des matrices de type 





l ■ 




" 1 1 " 





l 


1 



dont l'itération «ième par <î>id donne 



1 2" 
1 



Aucune valeur de X non triviale ne produit ici de point périodique : 

- si |À| < 1, alors M„(À) 0, 

- si \X\ > 1, alors M„(?i) « s'échappe » dans un sens que nous précisons maintenant. Si on compactifie 
îM'(2;C) ~ par P'^(C) = {{x : y: z : t : w)} , alors M„(k) correspond à 

Ç^2" . '\2"-,n - - T' / 1 . _ 1 1 



X'"r : : l^" : 1 



2" ■ ^ ■ ^ ■ 2" 



À2"2" 



qui pour \X\ > 1 tend vers (0:1:0:0:0), point d'indétermination de l'extension de à P'*(C). 
Nous déduisons de ce qui précède que est un point super attractant. En effet si M est proche de 0, alors M 



est conjuguée à une matrice de JORDAN 



avec < 1 ou à 



X 



avec \X\ < 1. EnparticuUer 



Xi 
X2 ^ 

les matrices nilpotentes sont «pré-super attractives ». Le bassin d'attraction Wjj(O) de est constitué des 
matrices ayant leurs deux valeurs propres de module strictement plus petit que 1. Son bord est l'ensemble 
des matrices M ayant une valeur propre de module 1 et l'autre de module plus petit ou égal à 1. C'est une 
hypersurface LEVi-plate que nous allons décrire. Nous utiliserons la proposition suivante dont la preuve 
est élémentaire. 

Proposition 3.2. — Soit P{z) = z^ — bz + c un trinôme du second degré, {b,c) désignant un élément de C^. 
Alors P a une racine de module 1 et l'autre de module plus petit que 1 si et seulement si on a 

|c|2-i|èp-i|è2-4c| + l = (/) 

|c| < 1 [a) 



1. Rappelons qu'une sous-variété réelle V de codimension 1 dans C" = R est dite LEVI-pZafe si son champ d'hyperplans 
tangents complexes T^V = TmVniTmV est intégrable. Ce champ induit alors un feuilletage de V en sous-variétés complexes de 
dimension n — 1. 
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Démonstration. — Désignons par X\ et les deux racines de P. La première condition se traduit par 

(|Ài|2-l)(|X2|2-l)=0; 

en exprimant les À,- à l'aide de è et c nous obtenons l'égalité (/); quant à (//) elle est évidente. □ 

L'ensemble £ C décrit par (i) et (ii) est un ensemble semi-algébrique connexe dont voici une autre présen- 
tation 



1,.,. .\2 1 



cP--|è|^+l 



2' ' / 4 



{h) 



\c\^-\\b\^ + \>0 {h) 

\c? < 1 («) 

Cette présentation est polynomiale en les parties réelles et imaginaires de b et c. L'ensemble £ est invariant 
sous l'action de sur donnée pai^ (e'*,ô,c) 1— )• (èe'*,ce^'^). Vérifions que £ est LEVi-plat ; considérons 
l'application 

L'ensemble décrit par (/i) et {12) est précisément l'image de ^ ; il est LEVi-plat puisque les droites u — )• 
(e'^ + M,e'*M) sont contenues dedans. Ces droites font partie d'un 2-tissu linéaire de que nous avons 
renconti'é dans l'Exemple 2.19 : le tissu des tangentes à la parabole v = Quant à l'ensemble £ c'est 
l'image de l'application ^, restriction de ^ à S' x D(0, 1) où D(0, 1) est le disque unité de C. Remarquons 
que ^ est injective sur x B(0, 1) et (2 : 1) sur le bord x Par suite £ s'identifie topologiquement à 
l'espace compact x D(0, 1) où l'on a identifié les points (e'^,e"'') et (e^^jC'*). Son intérieur est un tore 
plein s' X D(0, 1) et son bord 3£ le quotient du tore = x S' par l'involution {s,t) 1— )• {t,s) ; c'est une 
bande de MÔBIUS. Nous en déduisons que le bord du bassin d'attraction 3Wjj(0) de de <î>id est l'ensemble 
semi-algébrique Inv^^(£). Il est décrit cette fois pai^ les inéquations M-polynomiales sur ^M{2;C) : 



det|2-i|tr2| + l)^-i 

|det|2-l|tr2| + l >0 
Idetl < 1 



tr2-4det 



2 







Il est LEVi-plat au sens où il contient un ouvert dense (remplacer la dernière inégalité par | det | < 1) Levi- 
plat : les variétés complexes contenues dans 3Wjj(0) sont les images réciproques par l'application algé- 
brique Inv des disques D(0, 1) 9 m 1— (e'* + M,e'*M), û étant fixé. C'est un ensemble évidemment non borné 
puisque Wjj(O) ne l'est pas (il contient un voisinage des nilpotentes). Ceci va à l'encontre du cas des applica- 
tions homogènes génériques. Rappelons à cet effet que lorsque / : C'^ —s- C'^ est une application polynomiale 
homogène, le bassin d'attraction de est borné dès que /^'(O) se réduit à ce qui est le cas générique- 
ment ([2]). En dimension 1 pour une transfomation homogène z 1— >• z*^ le bord du bassin d'attraction de est 
évidemment le cercle unité S' et tous les points périodiques sont contenus dans ce cercle (homis le point 0) ; 
de plus ils y sont denses. D'autre part notons que les orbites bornées de sont contenues dans la fermeture 
de ce bassin d'attraction. Dans le contexte de <î>id nous avons la : 

Proposition 3.3. — Les points périodiques de <î>id, excepté 0, sont contenus dans le bord 3Wjj(0) du bassin 
d'attraction de 0. 

Démonstration. — C'est une application directe de la description des points périodiques de <î>id|î)- D 
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Nous nous intéressons aussi à l'adhérence des points périodiques de <î>id (excepté 0). Cet ensemble a plusieurs 
composantes. Rappelons les faits élémentaires suivants : 

- M a une valeur propre de module 1 et l'autre nulle si et seulement si M est dans l'ensemble 

a" = {M G lW(2;C) I detM = 0, |trM| = l); 

- M a une valeur propre double de module 1 si et seulement si M appartient à 

= {Mg iW(2;C)|trM^-4detM = 0, |detM| = l}; 

- enfin M a deux valeurs propres de module 1 distinctes si et seulement si M est dans 

(trM)2 



A^= <^MG fAf(2;C) 



detM 



G [0,4[, |detM| = 1 



Pour l'application l'adhérence des points périodiques coïncide avec le bord du bassin d'attraction de 

l'origine auquel on ajoute l'origine. L'énoncé qui suit décrit l'adhérence des points périodiques de <î>id et 
montre via des arguments de dimension que cette adhérence est différente du bord du bassin d'attraction. 

Proposition 3.4. — L'adhérence des points périodiques de <î>id est l'union de {O} U A°U A' U A^. 



Démonstration. — Le seul point à noter est qu'un élément de A^ est conjugué à une matrice 



S 



avec e G {0, 1} ; une telle matrice est limite de matrices diagonalisables 
pour <î>id. 

Cette adhérence est encore un semi-algébrique décrit par l'union disjointe 

r (trM)2 



tv 



e- 
qui sont périodiques 
□ 



{0}u{|tr| = 1, |detM| = 0} U | ^^^^ G [0,4], |detM| = l| 



Proposition 3.5. — Les orbites bornées de <î>id sont contenues dans Wjj(O) ; tout élément M de Wjj(O) a 
son oM,e iomée à Ve.ce„ion des ,na,rices M ayan, pour .ype de JORDAN ^ ^ ' " 



X 



avec \X\ = l. 



Remarque 3.6. 



L'image réciproque par Inv du ruban de MÔBIUS 3r est exactement l'union 
r (trM)2 



A^UA^ 



G [0,4], detM| = 1 



\ detM 

l'image réciproque du bord 3(3r) de cette bande de MÔBIUS étant précisément l'ensemble A^. 

Remarque 3. 7. — Notons que £ et dL sont invariants par Sq<î>id et sont bornés (ceci résulte des présentations 
(i) et (ii) de la Proposition 3.2). 

Problème 1. — Il serait intéressant de décrire les automorphismes holomorphes de l'ouvert Wjj(O). Parmi 
ceux-ci on trouve les transformations ap : M i— PMP^ ' et les transformations linéaires : M i— > e'^M ; dit 
autrement nous avons une action de S' x PGL(2;C). Peut-être serait-il plus facile de décrire les automor- 
phismes holomorphes de M{2;C) ~ qui préservent Wjj(O) ? De tels automorphismes vont en effet pré- 
server 3Wjj(0) et sa structure LEVi-plate et donc le tissu image réciproque par Inv du tissu des tangentes à la 
parabole v = m^/4. 
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3.2. Quelques compléments. — Les dynamiques de et P(Oid) se déduisent plus ou moins facilement de 
celle de <î>id. La description de <î>id se fait dès que l'on connaît celle de <î>id : fM{2;C) — )■ fAf(2;C) plus celle 
sur l'hyperplan à l'infini qui est un P^(C). Mais sur l'hypeiplan à l'infini qui est complètement invariant la 
dynamique est exactement celle de 

P(<î>id) : P(f7W(2;C)) ~ P^(C) P(5W(2;C)) ~ P^(C). 

L'application P(<î>id) est définie en coordonnées homogènes par 

P(<î>id): {x:y:z:t)^ (x^ +yz:yix + t) : zix + t) -.yz + t^)- 

Récapitulons ses propriétés 

- le lieu d'indétermination de P(<î>id) est le projectivisé de l'ensemble fV^(2;C) des matrices nilpotentes ; 

- le projectivisé des matrices de trace nulle (privé de P(fA(^(2;C))) est contracté sur le point (1:0:0:1) 
con^espondant à la matrice identité et ce point est fixe ; 

- les autres points fixes sont le projectivisé de la quadrique det = 0, privé de P(fA(^(2;C)) ; 

- la fibre générique de P(<î>id) a deux éléments ; 

- la fibration en 2-plans qui est invariante fibre à fibre est maintenant la fibration en P' (C) radiale en 
(1:0:0: 1) dans F\C) ; 

- la droite spéciale (k,X,0,X), X 7^ 0, représente à conjugaison près les matrices non diagonalisables 
(inversibles) et donne un seul point bien sûr dans P^(C), la « matrice unipotente » (1:1:0:1). Nous 
obtenons l'orbite spéciale (1/2" : 1 : : 1/2"). C'est une orbite discrète qui converge vers (0:1:0:0) qui 
représente la matrice nilpotente standard. Autrement dit les itérés des matrices unipotentes convergent 
vers les matrices nilpotentes qui sont d'indéteiTnination ; 

- la dynamique hormis les problèmes de type points d'indétermination et ensembles contractés se com- 
prend aussi essentiellement via la dynamique de X2 : P' (C) P' (C), z H> z^. Par exemple dans le P' (C) 
des matrices diagonales (Ài : : : X2) l'application s'écrit (k^ : : : Àj) c'est-à-dire u 1— )• u^. 

Comme pour <î>id on sait décrire la dynamique des polynômes de matrices ; par exemple celle de (points 
périodiques, ensembles invaiiants) s'obtient essentiellement à partir de en faisant agir l'action adjointe ; 
celle de ç^i^, se déduit quant à elle directement de celle de z^ + c. Si on note J7c C C l'ensemble de JULIA 

de z^ + c, l'ensemble Je x J/^. c est invariant pai^ Çc. La fermeture de son saturé 0{Jc x Je, Çc) par l'action 
adjointe est un fermé invariant par Çc dans lequel on a densité des points périodiques. Il y a d'autres fermés 
invariants, comme par exemple le saturé fermé de J/^ x C C (D, toujours par l'action adjointe. De même que 
si q est un point fixe de z^ + c, alors le saturé fermé de x est encore invariant. La description des orbites 
bornées est relativement raisonnable (mais zoologique), en liaison avec celles de + c. 

3.3. Centralisateurs. — Une façon de mesurer la complexité d'une transformation est d'examiner son centra- 
lisateur, i.e. son groupe des commutateurs. La transformation X2, de même que les z 1— z*^, a un rôle spécial 
dans la dynamique à une variable ; comme les polynômes de TCHEBYCHEV elle a son ensemble de Ju- 
LIA lisse et son centralisateur n'est pas réduit à ses propres itérés. Il est donc naturel d'examiner « certains 
centralisateurs » de <î>id. 

Soit /: Z Z une transformation rationnelle ; introduisons les groupes suivants 

Bk{X;f) = {g: X - -^X transformation birationnelle \gof = fog}, 
Aut(X;/) = {g: X — >X automorphisme holomorphe \go f = /og}. 
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X y 




X z 






_z t 




.y f . 



3.3.1. Caractérisation de Aut(îAf(2;C);<î>id). — Les transfomiations ap définies par ap(M) = PMP^' sont 
dans Aut(!7lf(2;C);<î>id) et sont compatibles à la conjugaison. Notons que si O est compatible à la conjugai- 
son, alors par définition les ap sont dans Aut(5Vf(2;C);<î>). L'application de transposition 

T: f7W(2;C) ^f7W(2;C), 

commute à <î>id ; ainsi Aut(î7Vf(2;C);<î>id) contient des éléments non compatibles à la conjugaison bien 
que <î>id le soit. De même la transformation 



1 

1 



X y 




' t y' 


z î 




z X 



commute à <î>id et n'est pas compatible à la conjugaison ; notons que /(M) = '(ap(M)) où P 



Proposition 3.8. — Le groupe Aut(f7tf(2;C);<î>id) est engendré par la transposition T et les ap; plus préci- 
sément 

Aut(fW(2;C);<î>id) ~PGL(2;C) X Z/2Z. 

Démonstration. — Soit cp un automorphisme de !M{2;C) qui commute à <î>id. Puisque est le seul point 
fixe de <î>id où la différentielle de <î>id est identiquement nulle, est fixe par (p. On écrit cp = cpi + (p2 + . . . le 
développement de Taylor de cp, chaque cp^. étant holomorphe de degré k. Notons que la partie linéaire cpi de cp 
est dans Aut{!M{2; C) ; <î>id) de sorte que = cp o cpj" ^ aussi. Supposons que ^ ne soit pas trivial ; écrivons *F 
sous la forme ^ = Id + ^k + ^k+i + • • • avec homogène de degré ^ > 1 et non nul. La commutation 
de et <î>id implique l'égalité suivante 

, 2 



M" + ^^^(M") + ^'k+i (M^) + . . . = M + »Pi(M) + ^'k+i (M) + 



+ M»î';i(M) + »î';t(M)M + . . 



Pour des raisons de degré nous avons pour tout M l'égalité M*î'i:(M) + ^^^(MjM = 0. Écrivons M (resp. 



Wic{M)) sous la forme 



X 

z 



(resp. 



X(M) y(M) 
Z(M) r(M) 



) ; alors M»Î'^(M) + '¥k{M)M = se réécrit 



2xX+yZ + zY = 
xY+yT+yX + tY =0 
zK + tZ + xZ + zT = 
zY + yZ + 2tT = 



(3.1) 



On peut voir (3.1) comme un système linéaire, les inconnues étant les X, Y, Z, T, dont on notera A = A(M) le 
déterminant. Nous constatons que A(Id) = 16; par suite A est non identiquement nul. En résulte que X, Y, Z, T, 
et donc ^'t, sont identiquement nuls. Nous en déduisons que cp = cpi est nécessairement un automorphisme 
linéaire. 

Remarquons que Id est l'unique point fixe de en lequel la différentielle de Ojd est 2Id. Il s'en suit que Id 
est fixé par cpi et la droite C = {Xld | À G C} est invariante point par point par cpi. En particulier cpi envoie le 
plan (ÀId + /iM) dans le plan (ÀId + /jcp(M)). Ceci implique que la fibration (P est invariante par cpi. Pour M 
générique, M et cpi(M) sont diagonalisables : M = QDQ^', cpi(M) = Q'D'Q'^^ En composant cpi à gauche 
et à droite par des ap ad-hoc nous nous ramenons donc au cas où cpi respecte la fibration "P et le groupe Œ). Si 

X(M) Y (M) 



on écrit cp(M) sous la forme 



Z(M) r(M) 



où cette fois les transformations X, 7, Z et T sont linéaires 
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on a : 

y(x,0,0,0 =Z(x,0,0,0 =0, X{x^,0,0,t^)=X^{x,0,0,t), T{x^,0,0,t^) = T^{x,0,0,t). 

Puisque cpi est un automoiphisme, ceci entraîne pai^ un calcul direct l'alternative suivante : 

ou bien X(x, 0,0,?) = x et r(x,0,0,f) =t; ou bien X(x,0,0,f) = f et r(x,0,0,?) =x. 

Quitte à composer cpi par l'involution I, nous pouvons supposer que nous sommes dans la première situation. 
Finalement 

cpi = (x + £i (3;, z) , ^2 {y, z) , i3 {y, z),t + £A{y, z) ) 
les ii étant linéaires en y, z- En réécrivant que <î>id et cpi commutent on constate aisément que êi = £4 = 
et £2^3 = yz- Ainsi après ces modifications cpi est de l'un des deux types suivants 

x,py,^,t^, h=(^x,pz,^,t 



Remarquons que si P : 



Vp 
p 



alors g = ap et que, modulo Op, l' application h est la transposition. □ 



3.3.2. Description de Bir(Pf7lf (2;C);P(<î>id)). — Dans la carte f = 1 on remarque que P(<î>id) s'écrit de la 
façon suivante 

'x^+yz y(x+l) z(x+l)' 



l+yz l+yz l+yz 

La fibration en 2-plans T, invariante par <î>id, initialement donnée pai^ les niveaux de ^) , produit main- 
tenant la fibration en droites donnée cette fois par les fibres de Nous allons trivialiser cette fibration 
en conjuguant P(<î>id) par la transformation birationnelle /: (x,y,z) (xz+ \,yz,z). On vérifie que 

G=r^p(<î>M)/=fx,y,'^^+^'^ 



Le fait que T soit l'unique fibration en surfaces invariante fibre à fibre par <î>id implique que la fibration en 
droites (x,y) = cte est l'unique fibration en courbes préservée par G. Il en résulte que si F est une application 
birationnelle commutant à G, alors F est nécessairement du type 

X(x,j),y(x,j), ^ ,/ ) j a,b, c,d € C{x,y}, ad — bc^ 0. 



c{x,y)z + d{x,y) 

Visiblement la transformation (x,^) {X{x,y),Y {x,y)) doit être birationnelle. Si l'on considère F et G 
comme des applications rationnelles sur x on constate qu'elles sont fibrées et holomorphes en res- 
triction aux fibres génériques. Les points fixes de G sont les trois surfaces irréductibles z = 0, z = °° &t 
yz^ — xz — 1 = 0. Si F commute à G, alors F préserve dans leur ensemble les points fixes de G. Plus précisé- 
ment F laisse invariante la surface yz^ — xz — 1 = et fixe ou permute les plans z = et z = 00. 
i. Supposons, dans un premier temps, que yz^ — xz— 1 =0, z = Oetz = °° soient fixés par F. Alors F est du 
type suivant 

F{x,y,z) = {Xix,y),Y{x,y),aix,y)z). 

Maintenant (yz^ — xz — 1) oF = Ya^z^ —Xaz— 1 est donc un multiple (comme élément de C(x,y)[z]) de 
yz^ — xz — 1 , de sorte que nous pouvons préciser F : 

F(x,y,z) = ( —^,^^—,a{x,y)z 
\a{x,y) a^{x,y) 
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On peut d'ailleurs remarquer que toute transformation rationnelle comme ci dessus, le. pour tout choix de a, 
commute à G. Le fait que F soit birationnelle impose des restrictions sur a. En effet si F est birationnelle 

alors H: {x^y) i-> Q^(ly) ) ^'^^^ aussi. En conjuguant H par {x,x^y) on constate que (^-^^f-f^,y^ est 

birationnelle ce qui force ^^^^2y) à être une transformation de MÔBIUS en x à paramètre y. Nous en déduisons 
que 

où les a, p, Y, ô sont dans C{t) et aô — Py/ 0. Le groupe des transformations birationnelles 

— -,a(x,j)z avec a du type (3.2) 

a{x,y) a^{x,y) ) ' 

commute à G et est isomorphe à PGL(2; C(f)). 

ii. Maintenant considérons l'éventualité où F fixe yz^ — xz — 1 et permute les plans z = et z = oo. Alors 
F est du type ('x(x,y),F(x,j), ^^ii^^^j . Comme (yz^ — xz — 1) o f = nous obtenons par le même 

X 1 û;(x,3') 



argument que précédemment 



F{x,y,z) 



a{x,y)y' a^{x,y)y' 
un tel F ne commute jamais à G. Nous pouvons donc énoncer la : 

Proposition 3.9. — On a : 



Bir(PiAf(2;C);P(<î>id)) = |/ [^-^^^ ^2^'''(^'3')^J «^^^ ^" (■^■2)' / = 1>3'Z,Z; 
e« particulier Bir(PfW(2;C);P(a>id)) est isomorphe à PGL(2;C(0)- 

3.3.3. Le groupe ^k{'M{2;C);(^\i). — Donnons un exemple de transformation appartenant à Bir(f7lf (2; C);<î>id) 
L'application 

est dans Bir(f/Vf(2;C);<î>id); elle est compatible à la conjugaison. Remarquons qu'elle commute aux applica- 
tions ap ainsi qu'à T. On constate que la restriction de l aux matrices diagonales s'identifie à l'involution de 
Cremona standard en dimension deux (x,f) — )• (7,7)- 

Soit/un élément de Bir(5Vf(2;C);<î>id). Comme /(M^) = /(M)/(M) nous avons det/(M2) = (^det/(M))^. 
Ce type de propriété est décrit dans le lemme qui suit. 

Lemme 3.10. — Soit^if: 9v[(2;'C) P'(C) une fonction rationnelle satisfaisant V équation fonctionnelle 
\|/(M^) = \]f[MY pour tout M dans 9vt{2\C). 

Alors \|/ est de la forme M £(detM)*^ om k désigne un entier relatif et £ un élément de {0, 1}. 

Démonstration. — Quitte à changer \|/ en nous pouvons supposer que l'hyperplan s[(2;C) n'est pas 
contenu dans les pôles de \|/. Ainsi \|/ est rationnelle en restriction à s[(2;C) et pour x, y, z génériques 
\|/(x,j,z, — x) est bien défini. Par suite \|/((x^ +3'z)Id) est rationnel, bien défini et donc ô: ? 1— v(?Id) aussi. 
L'hypothèse \|/(M^) = \|/(M)^ implique que 8(f^) = (ô(f))^, i.e. l'application ô commute à 5 1— )• 5^ ; par consé- 
quent 8(0 = ^'f^' pour un certain k' dans Z et pour s' dans {0, 1}. Autrement dit pour tout M dans sl(2;C) 
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nous avons (\|/(M))^ = \|/(M^) = \|/(det(M)Id) = e'(detM)*^'. La restriction de à s[(2;C) est donc donnée 
par \|/(M) = £(detM)'^ pour un certain k dans Z et pour e dans {0, 1}. 

Soit M dans 9v[{2\C) tel que appartienne à s[(2;C). D'une part \|/(M^) = £(detM)^''' et d'autre part 
\|/(M^) = (\|/(M))^ ; nous en déduisons que \|/(M) s'écrit aussi £(detM)*^. On peut répéter cet argument avec 
tous les éléments M de !M{2;C) pour lesquels M^" appartient à s[(2;C) pour un certain n. L'ensemble de ces 
matrices est ZARISKI dense d'où l'énoncé. □ 

Soit / dans Bir(î7lf(2;C);<î>id); on peut appliquer le Lemme 3.10 à \|/ = det/ : il existe k tel que det/(M) = 
e(detM)*^, £ G {0, 1}. Comme / est birationnelle £ ne peut être nul et la fibration det = cte est invariante 
sous l'action de /. Nécessairement ceci implique que ^ = ±1 et, quitte à composer / par i : M — )■ nous 
supposerons dans la suite que k = l, i.e. det/(M) = detM. 

Supposons que / G Bir(!Af(2;C);<î>id) ait un pôle, i.e. f s'écrit | avec g, h polynomiales et h non constante. 
Nous pouvons bien évidemment nous ramener au cas où g et /z n'ont pas de facteur commun. 

Lemme 3.11. — L'hypersurface h = est complètement invariante. 

Démonstration. — Plaçons-nous dans P^(C); notons <î>id (resp. /) le prolongement de (resp. /) à P^(C). 
Désignons l'hyperplan à l'infini par H». Puisque (^id{x -.y: z'-t : s) = {x^ +yz : y{x + t) : z{x + t) : +yz ■ s'^) 
l'hyperplan Hx, est complètement invariant par <î>id. 

Soit M un point générique de h = 0. D'une part M n'est pas d'indétermination pour /, d'autre part /(M) ap- 
partient à ; la complète invariance de H>o assure que (/(M) ) aussi. Comme / et commutent, /(<î>id (M) ) 
est sur H,o ; il s'en suit que Oid(M) appartient kh = 0. 

Par ailleurs soit M tel que Oid(M) soit contenu dans h = 0,M générique pour cette propriété ; alors /(<î>id(M)) 
appartient à ^ et, par commutation de / et <î>id, <î>id(/(M)) aussi. La complète invariance de ^ par <î>id 
assure que /(M) appartient à □ 

Le Lemme 3. 1 1 assure que l'hypersurface /î = est complètement invariante par <î>id. D'après [3] il existe une 

constante non nulle c telle que /z(M^) = c^/î(M)^ . Mais quitte à changer h en h/c nous pouvons supposer 

dans la suite que /i(M^) = /i(M)^. En paiticulier il existe un certain entier 5 G N tel que, pour tout M dans 
!M(2;C), nous ayons h(M) = (detM)". 

En considérant l'adhérence de ZARISKI de l'orbite d'une matrice générique M on constate que / laisse 
invariante la fibration en 2-plans i.e. îP(/(M)) = /(îP(M)). Quitte à changer / en Opfoq avec P, Q bien 
choisis nous pouvons supposer que / est rationnelle et bien définie sur 2) et que D est invariant par /. 
Ceci signifie que la restriction de / à 2) induit une application birationnelle /j© : 2) — ^ 2). Évidemment f^^ 
commute à la restriction de à 2). Le lemme qui suit se démontre facilement. 

Lemme 3.12. — Soit r\: — une transformation birationnelle commutant à ^: — >• C^, {x,t) i— )■ 
Alors r\ est de l'un des types suivants 

ix,t), {t,x), (11), (11), (x,l), (1.), (1.), (^1). 

Autrement dit Bir(C^;^) est engendré par les involutions et {t,x). 

L'énoncé 3.12 s'applique évidemment à /jg) puisque <î>id|j, s'identifie à {x,t) i— )• {x^,t^). Mais nous avons 
supposé que det/(M) = detM, ce qui n'autorise que les deux premiers modèles du Lemme 3.12 ; nous en dé- 
duisons, après les adaptations précédentes, que l'application fiqy est soit l'identité, soit diag{x,t) i— diag(?,x). 
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Z X 



nous nous ramenons à la pre- 



X V 

Mais quitte à modifier encore / en composant par / : ^ ^ 

mière éventualité, Le. àf^rp = id]©. Récapitulons, nous pouvons supposer que 

- det/(M) = detM ; 

- /j© = id|2) ; 

- si / a un pôle alors / s'écrit /(M) = j^y. 

On constate que / est alors définie holomorphe au voisinage de l'identité qui est un point fixe de <î>id et 
de /. La partie linéaire de au point fixe Id est la multiplication par 2. En fait l'application exponentielle 
exp: fW(2;C) !W(2;C) Unéarise l'application 

<î>id(expM) = (expM)^ = exp(2M). 

Maintenant les seules transformations holomorphes qui commutent à M i— 2M sont les transformations li- 
néaires. Ceci implique que si / satisfait les propriétés qui précèdent, exp linéarise / au voisinage de l'identité 



/(expM) =exp/i(M) 



(3.3) 



où /i = D/(j(i) est la partie linéaire de / en Id. Notons que l'application M i— ^ /(expM) est partout définie 
holomorphe puisque 

/(expM)- ^(^^P^) - ^(^^P^) 



^detexpM^ (^exptrM 



Il s'en suit que /i détermine / et que l'identité (3.3) est en fait globale. 

Nous allons maintenant décrire fi en utilisant les propriétés de /. Puisque / est l'identité sur 2), nous avons 

fi{x,y,z,t) = {x + aiy + biz,a2y + b2Z,ajy + b3Z,t + a4y + b4z). 

Comme det est invariant par / et que infinitésimalement le déterminant en Id s'identifie à la trace (via exp), 
l'application fi préserve la trace c'est-à-dire ai +«4 = èi +^4 = 0. Soient P une matrice inversible et p, q 
dans Z ; on a 

Id = P • exp (diag(2i7lp,2i7lg)) • P"^ = exp (P • diag(2i7lp,2i7l^) • P"') 

et en utilisant (3.3) 

Id = /(Id) =/(exp(P-diag(2i7ip,2i7i^)-p-')) =exp(/i (P • diag(2i7i;7,2i7i^) • P"')) . 

En particulier f\ (P • diag(2i7i/7,2i7i<7) • P^^) est un conjugué d'un certain diag(2i7lp',2i7ig'). Ceci signifie 
qu'il y a un ensemble dénombrable d'orbites de l'action adjointe qui sont envoyées par f\ sur d'autres orbites 
de cette même action. Par passage à l'adhérence de ZARISKI nous en déduisons que fi envoie orbites (de 
l'action adjointe) dans orbites. En particulier la fibration par Inv = (tr,det) est invariante par f\. Soit Q la 
forme quadratique Q = det/i : 

Q = {x + a^y + bYz){t - a\y - biz) - {a2y + b2z){aj,y + bj,z). 

Puisque Q doit être constant sur les niveaux de Inv nous obtenons en utilisant un argument de [8] 

e = (p(tr,det) (3.4) 

avec cp un germe d'application holomorphe en 0, l'égalité (3.4) étant comprise au voisinage de 0. Mais en 
développant (p en série et en utilisant l'expression de Q nous constatons que Q = det et par suite a\=bY= 



et 



«2 ^2 
«3 ^3 



est l'une des matrices Id ou 



1 

1 



Dans le premier cas f\ = Id et donc /(M) = M ; le 
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second cas montre que fy est la différentielle de l'application transposition, et par conséquent / coïncide elle- 
même avec cette transposition (nous utilisons la commutation de <î>id avec T et le fait que la partie linéaire f\ 
détermine /). Finalement nous avons la 

Proposition 3.13. — Le groupe Bk{!M{2;C);(È>id) est engendré par Aut{M(2;Cy,^id) o^PGL{2;C) xiZ/lZ 
et par Vinvolution l : M i— î- M^^ 

Remarque 3.14. — D'un point de vue abstrait Bir(5lf(2;C);a>id) s'identifie à (PGL(2;C) x Z/2Z) x Z/2Z. 

Remarque 3.15. — L'ensemble des transformations rationnelles qui commutent à <î>id contient Bir(f7lf(2;C);<î>id) 
mais aussi les transformations suivantes 

' 1 



Mh^M^ M (detM)''Id, Mh^(detM* 







Remarque 3.16. — On vérifie que si O appartient à Bir(;Af(2;C);<î>id), alors <î> commute à toutes les trans- 
formations <î>i: : M I— M*"', autrement dit on a les inclusions 

Bir(î7lf(2;C);<î>id) C Bir(5W(2;C);<î>;t), ^ > 2. 

Ces inclusions ne sont pas des égalités : M i— )• —M commute à <î>3 mais pas à <î>id. 

Remarque 3.17 . — Soit<î>: f/Vf(2;C) — •> f/Vf (2; C) une application compatible à la multiplication : <î>(MiM2) 
<î>(Mi)<î>(M2). Un tel <î> commute à <î>id et est donc dans Bir(!7Vf(2;C);<î>id) dès qu'il est inversible. Visible- 
ment tous les ap et M I— > 'M^' ont cette propriété ; pai' contre les involutions T et i ne l'ont pas. Tous les 
éléments de Bir(iAf(2;C);<î>id) dont la décomposition en les ap, et i font appai^aître autant de fois "T et i 
satisfont cette propriété. 

Problème 2. — Quelles sont les transformations rationnelles qui commutent à <î>id ? 



4. « Perturbations spéciales » des applications monomiales compatibles à la conjugaison 

Nous considérons dans ce qui suit quelques transformations spéciales susceptibles de posséder un centralisa- 
teur suffisamment « gros » tout en présentant une dynamique plus « riche » que celle de Oïd. 
Les applications monomiales de degré deux M i— )• A1MA2MA3 sont conjuguées à celles du type AM^B 
(Remarque 1.3) ; nous allons nous concentrer sur le cas spécial B = Id. Soit A dans GL(2;C). Considérons 
l'application monomiale <Î>a de î7Vf(2;C) dans lui-même définie par <Î>a(M) = AM^. Remarquons que 

(ap '<î>Aap)(M) = (P-'AP)m2. 

Nous pouvons donc prendre A sous forme de JORDAN. Dans un premier paragraphe nous allons considérer 
le cas où A est diagonale, dans le suivant nous traiterons l'autre éventualité. 

4.1. Cas diagonalisable. — Écrivons A sous la fome diag(?ii ,^2); remarquons que si = X2, alors <Î>a est 
conjuguée à Oïd par une homothétie. Dans la suite nous supposerons donc que et À2 sont distincts. Quitte 
à conjuguer <Î>a, toujours par une homothétie, nous pouvons supposer que detA = 1, i.e. X1X2 = 1. Posons 
A, = et ?i2 = ^; la condition X\ ^ X2 implique 7^ 1 ce que nous supposerons dans la suite. La quadrique 
de dimension 2 formée des matrices nilpotentes est envoyée sur par Oa et l'algèbre s[(2;C) est encore 
contractée, cette fois sur {/jA | G C} qui est contenu dans îD. 

La restriction de <Î>a à îD est conjuguée à ^u^.^, ce que l'on voit sur l'expression de <Î>a : 

X{x^+yz) ly{x + t) 
{z{x + t) {{t^ + yz) 



X y 




z t 
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Bien que <Î>A| j, soit conjuguée à ^id^.p nous allons voir que <Ï>a n'est pas holomorphiquement conjuguée à <î>id. 
En effet, les points fixes de <Î>a sont puisque 'X? ^ l 



0, 



diag ( 





z X 



i y 





\yeC 



alors que <î>id admet un ensemble de points fixes de dimension 2 : ceci est une obstruction à la conjugaison 
enti-e <î>id et <Î>a. 



4.1.1. Fibrations et fonctions invariantes. — Comme pour <ï>id la fibration // : 



X y 
z t 



est invariante. 



Néanmoins si // o <î)jd = H, nous avons H o <î>a = X^H : il y a donc seulement deux fibres fixes, celles 
correspondant aux matrices triangulaires supérieures, resp. inférieures. Le feuilletage associé àjj- —z^ est 
encore invariant par Oa ; en fait <Î>a commute à toutes les transformations (x, ^'y, e^*z, s G C. En particulier 
l'ensemble des points périodiques, les ensembles invariants maximaux (resp. minimaux) sont eux-mêmes 
invariants par le flot y^, — z^. Il en résulte que la seule possibilité pour que les points périodiques (de même 
période) soient isolés est qu'ils soient confinés dans D. Notons que la fibration det = cte est invariante. 

Comme nous l'avons fait pour <î>id nous nous intéressons au corps des fonctions invariantes K(Oa) pour 
A = diag A) générique. Pour celà nous étudions <Î>a au voisinage du point fixe diag A) - On vérifie que 
la matrice jacobienne de Oa en ce point fixe est 



+ - 
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Ainsi, pour X non résonant (on demande que (X + ^) ' = 1, g, r) G Z ait une seule solution, la solution 
triviale {p,(j,r) = (0,0,0)), le germe de <Î>a en diag {X, j^) est formellement linéarisable. Nous en déduisons 
qu'à conjugaison formelle près les fonctions méromorphes (formelles) invariantes par le germe de Oa en 
diag {j^,X) sont les fonctions du type h{x/t), h rationnelle. Soit maintenant / dans K(<Î>a) non constante. Il 
n'est pas difficile de voir, en vertu de ce qui précède, que / est non constante sur le 2-plan y = z = 0. Mais 
dans ce 2-plan la restriction de <Î>a est donnée par {x,t) i— qui est conjuguée à (x^,f^). Or les 
fonctions invariantes par {x^,t^) sont constantes. Il s'en suit la : 

Proposition 4.1. — Pour X non résonant K(<Î>a) = C. 

Remarque 4.2. — Pour certaines valeurs spéciales de X le corps K(Oa) ne se réduit pas aux constantes. En 
effet comme on l'a vu // o Oa = ; en particulier si X est une racine 2/c-ième de l'unité, alors la fonction 
{y/zY est invariante par <Î>a. 

Problème 3. — Décrire le corps K(<î>a) pour toutes les valeurs de X. 

4.1.2. Étude des points périodiques pour X générique. — Suivant la nature de X le comportement des points 
périodiques s'avère différent, et différent aussi du cas <î>id étudié précédemment. Supposons que X ne soit 
pas racine de l'unité. Puisque H o <î>a = X^H les points périodiques de <Î>a sont contenus dans les hypeiplans 

z = et j = 0. La restriction <Î>A|-^o conjuguée à ^{x,y,t) = ix^.,y{x + X'^t),t^ j ; on constate que 



^"{x,y,t) = ix^\yY\{x^-+XV),t 

^ i=0 



2" 
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Notons que si {x,y,t_) est périodique pour ^P, alors {x,t_) l'est pour X2 ; il y a donc quatre possibilités pour {x,t_) : 

a) {x,t_) = (0,0)"; 

b) X et f sont des racines (2" — l)-ième de l'unité ; 

c) X = et ? est une racine (2" — l)-ième de l'unité ; 

d) f = et X est une racine (2" — l)-ième de l'unité. 
Examinons ces possibilités au cas par cas. 

a) Notons que si {x,t_) = (0,0), alors 3^ = 0. 

b) Considérons l'ensemble dénombrable A„ défini par 

K = {{x, t, l) G C'\x^"-' = 1, = 1, xfi (x^'+XV) = 1} 

^ i=Q ^ ' ' 

et l'ensemble A = pr3(U„A„) où pr3 désigne la troisième projection. 

Un argument de Baire assure que pour X générique on a À"^^ ]^ ( x^ +àV j / 1 pour tout choix x et t_ de 

ï=0 ^ ' 

racines (2" — l)-ième de l'unité. Par suite, pour \ n'appartenant pas à A, les points périodiques (x,j,?) de ^ 
tels que xf / sont exactement l'ensemble 

U{(^,0,Tl)|r-^=Tl^"-l = l}. 

Lorsque (x,Z;,À) appartient à A„ (en particulier À appartient à A), (x,j,f) est périodique pour ^F, pour tout y. 
Par exemple (j,j^,2) appaitient à A2 et (jjjjO,]^) est un point périodique de période 2 de l'application corres- 
pondante. 

c) Passons maintenant au cas où par exemple ? = et x^"^' = 1. On vérifie que *î'"(x,j,0) = (x, j,0). 
0) Lorsque x = et tj'^^ = 1 on constate que ^^"(O, j,?) = {^,)J-y,t). 

Bien sûr tout ce qui est dit pour la restriction de <Î>a à z = peut être répété pour la restriction à 3^ = 0. Nous 
en déduisons la : 



Proposition 4.3. — Pour X générique {i.e. X n' appartient pas à K) l'adhérence des points périodiques de 
est constituée 

— d'un tore x contenu dans y = z = 0; 

- de deux x C, précisément x C x {O} x {O} et {O} x {O} x C x XS' {en identifiant M{2\C) = 



I \ ] |àC4 = {(x,j,z,0|^,3',z,?GC}); 



- de la matrice nulle 0. 

En particulier lorsque X n'est pas dans A les points périodiques sont d'adhérence de ZARISKI {y = z = 
0} U {z = ? = 0} U {x = j = 0} alors que les points périodiques de <î>id sont ZARISKI denses. La description 
des points périodiques de <Î>a dans le cas non générique (par exemple X racine de l'unité) semble délicate. 

Remarque 4.4. — La dynamique de <Î>a : M{2;C-) — )• M{2;C) peut être précisée par l'étude de ses points 
fixes ou plus généralement périodiques à l'infini. Pour celà considérons l'application <Î>a : P^(C) — ^ P^(C) 
définie par 

/ \ (yf 2 \ y t \ Z{x + t) t'^+yz 2 

{x:y:z:t:s)^ [X{x^ +yz) : Xy{x + t) : ^ : : / 
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On vérifie que <Î>a s'exprime de la façon suivante dans la carte x = l 

'y{l+t) z{l+t) f+yz 



l+yz 'X^{l+yz)'XH^+yz)'X{l+yz), 

Dans l'hyperplan 3^ = qui est invariant, le point {z = 0,t = 0,5 = 0) est un attracteur si \X\ > 1. Dans la 
carte ? = 1, où <Î>a s'exprime cette fois sous la forme 

'X^ix^+yz) X^y{l+x) z{l+x) Xs^ 
l+yz ' l+yz ' l+yz 'l+yz 

on voit que z = est invariant et dans ce 3-plan le point {x = 0,y = 0,s = 0) est un attracteur si |X| < 1. Ainsi 
si |À| 7^ 1 on trouve un hyperplan invariant contenant un point fixe attractant dans cet hyperplan. De même on 
peut préciser la nature des points périodiques à l'infini, tout du moins dans ces hyperplans invariants. 

Problème 4. — Décrire les points périodiques des applications <Î>a pour toute valeur de À. 

4.13. Etude de quelques orbites non périodiques. — Nous allons maintenant préciser la nature de quelques 
orbites non périodiques. Dans toute étude de systèmes dynamiques on s'intéresse à des problèmes de stabi- 
lité, de « non-explosion », ce qui conduit à caractériser autant que faire se peut les orbites bornées. L'idéal 
serait d'en avoir une description complète pour chaque <Î>a- Nous allons simplement en donner quelques 
constructions. Puisque nous pouvons nous ramener à \\K2 = 1 nous avons det<î>A(M) = (detM)^ et par suite 
detO^(M) = (detM)^ . Il en résulte que pour M tel que |detM| > 1, la suite (<Î>^(M))^ tend vers l'infini. 
Pour A fixé considérons le bassin d'attraction W^(0) de la matrice nulle ; c'est un domaine disqué, i.e. si M 
appartient à W^(0), alors le disque {/yM | |^| < l} est lui aussi dans W^(0). Le fait que <Î>a commute aux 
applications linéaires f^ix^y^z^t) = (;t:,e*3;,e^*z,f) implique que W^(0) est non borné. Désignons par || .|| la 
norme sup sur f7lf(2;C). Soient K = sup (X, ^) et M dans le polydisque A(p) de rayon p ; nous avons l'inéga- 
lité ||<Î>^(M)|| < IKçi^ et par conséquent ||<Î>^(M)|| < (2/^)^'"'p^'. Il en résulte l'inclusion du polydisque 
A (2^^) dans W^(0) ainsi que de son saturé U.v/v (A {^)) par le flot fs. Ceci donne d'ailleurs une preuve du 
fait que W^(0) est ouvert. Il est assez simple de produire des orbites bornées dans les plans invariants y = 
et z = 0. Plaçons-nous par exemple dans l'hyperplan invariant z = ; nous travaillons de nouveau avec ^ 
dont l'itéré n-ième s'écrit pour x non nul 

/ /t \ 2' 



^>'\x,y,t) = [x'\yx^''-'Y\{l+X'(l^'yt'" 



En particulier les orbites des points {x,y,0) sont faciles à décrire et produisent des orbites bornées lorsque 

\x\ = 1 (ou 0). Remarquons que si x et ? sont fixés tels que |?| < |x|, alors le produit infini P[ ^1 ^ 

converge vers un nombre = ^ (0. Considérons l'application définie par ^^{x^y^t) = {x^,xy,t^) (i.e. qui 
correspond au cas X = 0). Nous avons 

\\^"ix,y,t)-%ix,y,t)\\ = \y\ ■ " | H {^f) " 1 

En particulier pour |?| < \x\ < 1, nous avons lim ^'"{x,y,t) = indépendamment de y. Ainsi l'ensemble 

I (x, f) I |?| < |x| < 1 } est contenu dans le bassin d'attraction de pour l'application ce qui donne un ren- 
seignement supplémentaire pour W^(0). Lorsque |x| = 1, |?| < 1 et 3; quelconque 0[{x,y,l);^o) est contenue 
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dans 1^1 = 1, \y\ = \y\ alors que lim t^" = 0. Dans cette situation on constate que ll^'XijJjt) — ^î'oUîJîOII 

— n— >+oo — — 

est bornée et donc que 0[{x,y,t_);'^) est bornée. 

Remarquons que le plan x = t (qui est dans le bord du domaine \t\ < \x\) est invariant par ^. La restriction 
de à ce plan s'écrit ^'{x,y) = {x^, (1 +X^)xy) ; elle est conjuguée via l'application birationnelle {x,xy) à 
(p={x^,{l+X^)y) dontl' itéré «ième est (x^ î (1 + )"}')• Pour tout x non nul, la nature des orbites de ^\x=t 
peut se déduire de celles de cp ; plus précisément cp contracte x = t = (l'axe des y) sur la matrice nulle. En 
dehors de ;c = 0, {x'^,{l + 'k-^)xy) est holomorphiquement conjugué à {x^,{l + 'k'^)y)- Par exemple lorsque x 
est de module 1 générique et 1 + est aussi de module 1 générique, les orbites de {x,y) sont d'adhérence 
des tores réels de dimension 2. 

Une façon plus précise d'appréhender l'étude de l'application ~ <Î*a|z=o est de la conjuguer par une trans- 
formation birationnelle bien choisie. Par exemple si E: — >^ est l'application d'éclatement de l'origine 
définie par E{x,u,v) = {x,xu,xv) nous avons le diagramme commutatif 




avec (d{x,u,v) = (x^,m(1 +à^v),v^). L'itéré n-ième de est donné par 

&\x,u,v) = ix^",uT,\v)y"), 7;^(v) = n(l+XV' 

(=0 



Contrôler les v appartenant à S' pour lesquels les produits n"=ro (1 +^^v^') restent bornés permet d'exhiber 
des orbites bornées de et une orbite bornée de induit une orbite bornée de ^F. En particulier chaque fois 
que l'on sait borner l'ensemble {r„'*"(v) | n G N} pour certaines valeurs de À et v on sait construire une orbite 
bornée de ^i*. Voici un exemple : supposons que X soit un réel, <X < 1 , et que v soit une racine cubique de 
l'unité, par exemple j. Nous avons 

Tl-(j) = T,^(j) = (1+X2j)(l+À2j2), Tlij) = (l + X'ifil+X^f), 

r4^a) = (i+^'j)'(i+W, ••• 

Une induction élémentaire montre que pour tout « > les |r„^(j)| sont strictement plus petits que 1. Par suite 
si \x\ < 1, alors 0((;c,j,j);<î>A) est bornée (toujours sous la condition < ?i< 1). 

Problème 5. — Pour X fixé donner les v de module inférieur ou égal à 1 pour lesquels {r„'''(v) | « G N} est 
borné. 

Soit M dans fM{2;C); supposons que 0(M;<Î>a) soit bornée. Alors les points limites de 0(M;Oa) sont encore 
à orbites bornées. Si |detM| = 1, alors C'(M;<Î>a) est contenu dans {M G f7lf(2;C) | detM = O}, tandis que 
si |detM| < 1 ces points limites sont dans l'hypersurface {M G îAf(2;C) | detM = O}. Il est donc naturel de 
rechercher les orbites bornées dans les deux ensembles 

{Mg îAf(2;C)| detM = 0} et {M G ;Af(2;C) 1 1 detM| = 1} 

ce que nous aborderons dans ce qui suit. 



28 



DOMINIQUE CERVEAU & JULIE DÉSERTI 



4.1.4. Orbites bornées dans {M G îAf (2; C) | det M = 0} . — Soit M = dans M{2;C)àt déterminant 

nul; on constate que <Î>a(M) = [x + t) [hc^'ky,^,^). L'application P(<Î>a): P-'(C) --^ P^(C) coïncide en 
restriction à la quadrique {M G fW(2;C) | detM = 0} avec {x:y:z'-t)^ (kx : Xy : z/X : t /X) qui est linéaire. 
Plus généralement nous avons 



<î>l(M)=P,,(r.,r^,f„^j, 



n-\ f 2"-'-' 

1=0 ^ 



En particulier on constate le phénomène de résonance suivant : si M 



X y 
z t 



dans M{2;C) satisfait 



xt-yz = 0&t ï}x + = pour un certain k, alors <Î>^(M) = pour n > k. Nous obtenons donc, tout du 



moins pour X générique (précisément pour X non racine de l'unité), une infinité de surfaces quadratiques 



Q(A) 



X y 
Z t 



G M{2;C)\à&tM = 0,X''x + t/X'' = 



qui sont envoyées sur après un nombre fini d'itérations. Comme le bassin d'attraction de est ouvert, il 
existe des voisinages ouverts de ces surfaces quadratiques contenus dans W^(0), ce qui produit évidemment 
des orbites bornées. Rappelons que dans {M G î^(2;C) | detM = 0} il y a des orbites non bornées (celles 
de (a:, 3^,0,0) avec \x\ grand) et des orbites bornées non contenues dans W^(0), par exemple celles des points 
{x,y,0,0) avec \x\ = \/X qui sont toutefois dans le bord de W^(0). 

Sur http ://math.cmaisonneuve.qc.ca/alevesque/chaos_fract/Julia/Julia.html on trouve un programme permet- 
tant de tracer l'ensemble de JULIA d'une application holomorphe de P^(C) dans lui-même. Nous proposons 
une « adaptation » de ce programme à certaines transformations polynomiales réelles. Plus précisément no- 
tons D(0, r) C le disque de rayon r centré en et A(p) le polydisque de rayon p : 

A(p) = {(3',0eK'|bl<P, kl<p}. 

Soit / une transformation polynomiale du plan M^. Soient m = {xq,x\) un point de A(p) et K un entier 
strictement positif. On appelle temps de sortie N{m;r,p,K), relatif aux données de contrôle r, p, K, du point m 
de l'intersection A(p) n D(0, r) le plus grand entier n dans [0, . . . , k] tel que 



/(m) GD(0,r) 



\/Q<k< n. 



Considérons le spectre (continu) des couleurs [rouge . . . orange . . .jaune . . . vert . . . bleu . . . indigo . . . rouge] que 
l'on discrétise en K+ 1 intervalles [/o,...,/k] = [rouge .. .jaune .. .bleu .. .rouge]. Soit (r,p,K) un triplet de 
contrôle. Si N{m;r,p,K) = k, on colore le point m de la couleur Col (m) = 4. Comme /q = /k = rouge, les 
points colorés en rouge sont ceux pour lesquels le temps de passage est (sortie immédiate) ou K (pas de 
sortie au bout de K itérations) ; sur les figures le bord de l'ensemble Col^^ (Iq) est approché par la couleur 
Il ~ orangé. 

Nous allons appliquer cette procédure à (Xx{x + 1), ^^x^) ' application qui décrit la dynamique de la restric- 
tion de <î>A à {M G fM{2;R) | detM = O}. Nous obtenons pour p = 10, r = 30 
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K= 10, ?l= 1 



K = 75,X=\ 



K= 10, À= 1.5 



K = 75, ?i= 1.5 



Les deux premières figures représentent une approximation de la projection sur le plan des {x,t) du bassin 
d'attraction de par <î>id intersecté avec {M G !M{2;R) \ detM = l}. On vérifie en effet que, dans ce cas, 
la bande \x + t\ < 1 est exactement le bassin d'attraction de l'origine pour l'application considérée. Le do- 
maine « étoilé » des troisième et quatrième dessins représente comme précédemment la projection sur le plan 
des {x,t) de W^O intersecté avec {M G f7tf(2;]R) I detM = 0}. On distin gue ici quelques droites X'^x + ^ = 
et leur voisinage contenus dans le bassin d'attraction. Au vu de ces figures on peut penser que le bord du 
bassin d'attraction W^(0) n'est plus LEVi-plat. 

4.1.5. Orbites bornées dans {M G 5Vf(2;C) | |detM| = l}. — La dynamique dans {M G !M{2;C) | |detM| = 1} 
semble difficile d'abord pour X quelconque. Nous nous contentons de quelques remarques concernant l'hyper- 



surface invariante {M G ^M{2;C) | det M = 1 } . La matrice Mq 



i 
X 



est fixe pour la transformation <Î>a 



et appartient à la quadrique {M G !M{2;C) | detM = l}. La matrice jacobienne de <Î>a en Mq est la suivante 



Jac(<î> 



a; (Mo) 



2 








x{x+i) 
















2 



on constate un phénomène de résonance entre les valeurs propres. Remarquons que si l'argument de X ap- 
partient à ] — 7l/4,7i/4[, alors les valeurs propres de Jac(OA)(Mo) ^'^^^ module strictement supérieures 
à 1. Sous cette hypothèse le point fixe Mq est un répulseur, i.e. il existe un voisinage 'Z^(Mo) de Mq tel que 
'^'(Mo) Ç <Î>a('^'(Mo)). Mais ce fait n'est pas universel puisque pour certaines valeurs de X on trouve des 
valeurs propres de module plus petit que 1 . 
En appliquant la « procédure JULIA » introduite précédemment à 



X{x^+xt-l] 



{t^+xt-r 

X 



qui décrit la dynamique de la restriction de <Î>a à {M G ^Af (2; M) | detM = 1 } , nous obtenons par exemple les 
figures qui suivent pour p = 10, r = 3 et les paramètres À = 1 et 1.5. 






K= 10, ?i= 1 



K = 75, X = 1 



K= 10, À= 1.5 




K = 75, ?i= 1.5 



Notons qu'il y a une similitude certaine avec les figures précédentes. 
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4.1.6. Précisions sur la dynamique dans le cas quaternionique. — Lorsque la matrice A est une matrice de 
quatemions nous pouvons préciser le discours précédent. 

L'itération des transformations polynomiales du corps des quatemions a été abordée dans [7] où les auteurs 
proposent une adaptation de la théorie de Fatou JULIA. 



Considérons une application <Î>a : M M- AM^ avec cette fois A 



quaternionique. Quitte à faire 



agir une homothétie réelle M i— ^ pM sur nous pouvons supposer que det A = 1, i.e. que A est un quatemion 
de module 1. Mieux en conjuguant par une transformation M i— ^ BMB^' où B est encore un quatemion ad- 
hoc nous pouvons supposer que A est diagonale, i.e. A = diag(e'*,e^'*). On constate donc, modulo ces 
modifications, que le corps H des quatemions 



X y 

-y X 



\{x,y)^<C? 



est complètement invariant par <Î>a; il en est de même pour l'ensemble Hi des quatemions de module 1 

EIi = {MGEl|detM=l}. 

Notons que EI<i = |M G E[| |detM| < 1} est contenu dans le bassin d'attraction W^(0) de l'origine. Étant 
donné que Hi est invariant, ceci produit des orbites bornées non contenues dans 3W^(0) mais dans son bord. 
Puisque les an: M i— DMD^\ avec D diagonale, commutent avec <Î>a les ensembles aD(II), aD(IHIi) sont 
invariants. Ceci donne deux autres exemples d'ensembles invariants non bornés : 
- l'ensemble 9{ de dimension réelle 5 qui est l'union des aD(H) : 



x_ 

-l X 



X 

ay 



ainsi que l'ensemble 9{\ de dimension réelle 4 qui est l'union des aD(IHIi^ 

X ^y 



(x,y) G C^ ^ G 



Chaque élément de a son orbite bomée contenue dans le bord du bassin d'attraction W^(0). Les matrices 
de la forme diag(e"'',e'^) ont aussi une orbite bornée par <Î>a et pour la plupart ne sont pas dans 
Nous avons réalisé quelques expériences numériques concernant la restriction de <Î>a à Hi. Avant de les 
présenter faisons quelques remarques élémentaires. L'étude de la restriction de <Î>a à El se ramène bien sûr à 
celle de l'application analytique réelle de ~ dans lui-même (on gai^de la même notation) induite par 
les deux premières composantes : 

<î>a: {x,y)^ {ê''(x' - \y\^),ê''y{x-,x)). 
Sur Hi nous avons |xp + \y\^ = 1 de sorte que <Î>a|h| ^'^^ fibrée 

Oai,, : {x,y) ^ [ê^(x'^\x\^-\\ê'^y{x^x)) = ((p^W,e'^(x + I)) , 
i.e. la première composante ne dépend que de x. 

Notons que la famille des cercles verticaux paramétrée par r\ i— )• (x,je^l) est globalement invaiiante. La se- 
conde composante de *Î*a|h ^ P^^'^ argument cp + avec y = qui est aussi l'argument de l'itéré ^-ième 
de y suivant la rotation d'angle û. La première composante indique comment <Î>a fait passer d'un cercle à 
l'autre. Par exemple si x est un point périodique de période k de cp^ alors l'application cp^ est une rotation 
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d'angle sur le cercle (T = { (jç, j) G Hi } de Hi ~ S^. Nous allons nous intéresser à cette première compo- 
sante (pô que l'on identifie via x = x\+bc2Si l'application toujours notée cpij : 

(Pij : (xi 5X2) I— >■ (cos 1^(2x1 — 1) — 2sin 1^x1X2, 2cos 1^x1X2 + sin 1^(2x1 — 1)). 

Les applications cpij respectent toutes le disque unité D(0, 1) de et c'est la dynamique dans ce disque qui 
nous intéresse. Dans toute la suite nous considérons la restriction de au disque fermé B(0, 1) en gardant la 
même notation On vérifie sans peine que tous les : — )■ sont conjugués à l'application z 1— )• du 
cercle dans lui-même. Le diamètre [—1, 1] va sur le diamètre [— e^*,e^*] et est en particulier invariant lorsque 
= 0. Le diamètre vertical xi = est contracté sur le point — e'*. Ainsi un point de type (0,X2) va à la 
première itération sur — e^* puis reste pai^ itération sur le cercle 011, génériquement sur "d, son orbite est 
dense. Remarquons que les courbes « algébriques » réelles (cp*)^^ ([— i,i]) présentent une propriété analogue 
après k+\ itérations. La description de cpo: (xi,X2) 1— >■ (2xj — 1,2x1X2) est relativement raisonnable. Sur le 
cercle unité cpo coïncide avec x 1— )• x^ et est induite par M 1— )• restreinte à Hi. On se souvient que 0(M;<î>i(j) 
est tracée dans le 2-plan engendré par M, Id et — Id. En se restreignant à Hi nous en déduisons que les orbites 
de <î>id|nj sont tracées sur les cercles de obtenus comme intersection du 2-plan, réel cette fois, passant par 
M, Id et — Id (excepté lorsque M est Id ou — Id). Les orbites de cpo sont donc tracées sur les projections (par 
(x,j) 1-^ (^,0)) de ces cercles ; ce sont les ellipses passant par les points (1,0) et (—1,0) et tangentes au cercle 
unité en (1,0) et (-1,0) : 



On vérifie facilement que la restriction de cpo à chaque ellipse est conjuguée à x 1— )• x^ , sauf évidemment dans le 
cas spécial où l'ellipse dégénère sur l'intei-valle [—1, 1]. Dans ce cas on constate que (Po||_i ,| est l'application 
xi I— )■ 2x\ — 1 qui n'est rien d'autre que la célèbre application « logistique » à conjugaison près ([4]). En 
fait comme nous l'avons dit l'application est compatible à la conjugaison. Sur ~ H' les classes de 
conjugaison sont déterminées par la trace x+x = 2xi et sont donc des 2-sphères (xi = cte ) n S^. Par exemple 
si M G Hi est périodique pour cpid alors toute la sphère = classe de M est formée d'éléments périodiques ce 
que l'on peut voir directement sur l'appUcation cpo ; celle-ci respecte les droites verticales dans leur ensemble : 



On peut déduire d'ailleurs de façon directe la dynamique de l'application logistique (qui se fait usuellement 
de façon combinatoire via un codage RLC, voir [4]) de la dynamique de l'application du cercle x 1— )• x^ 
(qui elle se fait en utilisant l'écriture diadique des angles). Si on s'intéresse aux points périodiques de pé- 
riode 2 de cpo on trouve (outre le point 1 ~ (1,0)) le segment [j,j^]. La restriction de cpo à [j,j^] est donnée 
par (— ^,X2) I— ï- (— ^,— X2) qui est évidemment une involution. Son point fixe ( — ^,0) correspond au point 
fixe — ^ de l'application logistique. Remarquons que l'ensemble des points périodiques de cpo est une union 
dense de segments verticaux [m, m'] , les segments passant par les points périodiques de x 1— )• x^. Comme cp,t est 
conjugué à cpo par (xi ,X2) 1— )• (— xi , — X2) tout ce que nous avons dit pour cpo s'adapte via la conjugaison à cp,i. 
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Nous conjecturons que pour les applications (^^ avec û générique les points périodiques de période donnée 
sont en nombre fini à l'inverse de cpo- Par exemple l'application 

- (xi,X2) H> (-2;ci;c2,2xi - 1) 

a les points fixes suivants (0,-1), (5,— 5)» {~^^~^) et ses points 2-périodiques sont en nombre fini contrai- 
rement à ceux de cpo. En effet (p^^j • {^1^x2) '-^ {Ax\X2{2x\ — 1), 8x^:^2 — 1) a pour points fixes les trois points 

qui précèdent auxquels s'ajoutent (^1—5) \ ~^^\] l^i sont les deux racines 3ième de l'unité j et j^. 



Nous avons essayé de préciser les points 2-périodiques et leurs bifurcations en utilisant la technique des bases 
de Grobner qui fonctionne bien lorsque 

A(i^) = (4 cos^ 1^ - 3) (2 cos^ 1^ - 3 cos^ i^ + 2) (2 cos^ i^ + 3 cos^ i^ - 2) (cos 1^ - 1 ) (cos i^ + 1 ) 

est non nulle. Sous cette hypothèse (A('ô) / 0) l'application cpij a sept points périodiques de période 2, tous 
réels, i.e. dans M^, qui sont les suivants : 

a. le point fixe e^'* ~ (cos-d, — sini^) ; 

b. les deux points fixes 

, 1 cosi^-l\ , f\ cos 1^+1 

D-i- — — — et b.2, 



2 2sin'd / \2 2sim!> 

c. les deux points 2-périodiques de la restriction cpij : z 1— >• e'^z^ qui sont je^'* et j^e^'* : 
t). deux autres points 2-périodiques donnés par 



/ \/l+4cos2i^-l sim^(Vl+4cos2i^+l)\ ( ^/T+Âcô^+l sim^(l - Vl +4cos2i^) 

l 4cosi^ ' 4cos2i^ i ' ' ■ l 4cosi3 ' 4cos2i^ 

Remarquons que lorsque -ô tend vers 0, les points fixes de type b. tendent respectivement vers (—5,0) qui est 
point fixe de cpo et vers « (5,°°) ». Lorsque -ô tend vers 7i le phénomène inverse se produit : un point fixe tend 
vers (5,0) (point fixe de cp^t) et l'autre s'échappe. 

Un point de type b.i., resp. b.z. est dans le disque unité fermé si et seulement si — ^ < 1^ < resp. si 
et seulement si | < 1^ < ^. Notons que les points fixes de cpij ne sont jamais contractants. Les points 2- 
périodiques de type D. sont dans le disque unité fermé si et seulement si — ^ < i!> < | ou ^ < i!> < ^ et ils le 
sont simultanément. 



Nous avons appliqué la procédure type JULIA évoquée précédemment aux applications 9,5 dans le disque 
unité en choisissant une donnée de contrôle p plus petite que 1 mais très voisine de 1 . Les figures suivantes 
mesurent donc la façon dont les orbites s'approchent du bord du disque et à quelle vitesse. Par exemple dans 
la première figure où nous appliquons la procédure à cpo, les points périodiques non situés sur le bord ne 
s'en approchent pas ce qui produit les lignes verticales « indigo ~ rouge ». Remarquons dans ce cas spécial 
la liaison avec le problème suivant : pour la transformation du cercle z 1— étudier comment les orbites 
approchent le point fixe 1 et à quelle vitesse. Ceci expUque la structure cantorique que l'on observe sur cette 
première figure. 

Nous avons choisi de présenter des figures pour K petit pour la qualité visuelle ; on constate expérimentale- 
ment qu'elles ne varient pas qualitativement quand K augmente. Le paramètre r, resp. p prend la valeur 1, 
resp. Vâ99. 
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1^ = 









= 0.2 





1^ = 0.3 



1^ = 0.5 




i3 = 0.6 



1^ = 0.7 





if 



m 




i5= 1.3 



1^=1. 



1^= 1.5 



1^ = - 



Le tracé ponctuel des orbites ne s'avère pas très probant. Pour pallier ce défaut nous avons itéré des seg- 
ments verticaux par les applications (p^. Nous présentons ci-dessous les onze premiers itérés de la droite (D 
d'équation xi = 0.6 intersectée avec le disque de rayon 1 par l'application (p-,i/2- 








(p|(®) 
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On constate que rapidement les courbes images s'accumulent sur le cercle du bord tout entier. 

Problèmes 6. — 1) Pour A = diag (À, j) caractériser en fonction de X les orbites qui sont bornées en 
particulier celles qui ne sont pas dans W^(0). 

2) Caractériser le bassin d'attraction W^(0) de l'origine et si possible décrire son bord. 

3) Donner la description précise de la dynamique des <Î>a dans le cas quatemionique. 

4.1.7. Centralisateur. — Comme nous l'avons fait au pai^agraphe précédent nous allons déterminer le groupe 
Aut(5Vf (2;C);<Î>a) pour A = diag (À, x)> 1- 

Proposition 4.5. — Soit A une matrice de la forme diag ^) avec ^ 1. Le groupe Aut(f7lf(2;C);<î>A) 
est engendré par les ap avec P diagonale ; en fait Aut(f7tf(2;C);<î>A) s'identifie à C* agissant sur 9i{{2;C) 
de la façon suivante : {x,y,z,t,OL) i— )• [x,ay, ^,t) ■ Les orbites de cette action sont aussi celles du champ de 
vecteurs invariant — z^- 

Démonstration. — Avec des arguments analogues à ceux utilisés dans la démonstration de la Proposition 3.8 
on montre qu'un élément cp de Aut(îAf(2;C);<î>A) est nécessairement linéaire. 

Écrivons cp sous la forme (^1,^21^3,^4) les désignant des formes linéaires. La fibration y/z = cte est in- 
variante par <Î>A, plus précisément nous avons t o <î>a = À^t. Nous en déduisons l'égalité £3(^2 o^a) = 
?i^(^3 o<î>a)^2- Ceci implique, puisque les seuls 3-plans invariants par <Î>a sont 3; = et z = 0, l'alternative 
suivante : 

ou bien £2 = «J, ^3 = Pz, ou bien £2 = (Xz, £3 = (3j. 

En réécrivant ^ o Oa = on constate que la seconde éventualité n'arrive que si = 1. 
Dans le premier cas la commutation de (p et <Î>a entraîne que cp = [x,ay, ^,t). Lorsque = 1, X vaut i ou — i 
(les valeurs propres de A sont supposées distinctes). Écrivons ii (resp. £4) sous la forme a\x + b\y + ciz + dit 
(resp. a4X + b4y + C4Z + d4t). L'égalité <î>Acp = cp<î>A conduit à 



: Cl = ^4 = C4 = aid[ = a4d4 = 



et 



2_„ ^2.2 1„Q_^1,„ „2_.2„ „ d4 



«4 = — 1— «1, d4 = —l—di, ai=ai, d^X =di, Xa^ = — +ai, a4 = X a4, a4 + 

À À À 

Un calcul montre que si ai est nul, alors X = —l, sinon di = et X = l. Ces deux cas sont exclus par 
l'hypothèse XV 1- □ 
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4.2. Cas non diagonalisable. — Considérons les applications de la forme M AM^ avec A inversible non 
diagonaUsable. Nous nous ramenons après conjugaison ad-hoc à A : ' ^ ^ 



1 



; par suite 



X y 
z t 



{x^+yz)+z{x + t) y{x + t) + {f+yz) 



z{x + t) 



r+yz 



La quadrique de dimension 2 formée des matrices nilpotentes est toujours envoyée sur par <Î>a et s[(2;C) 
est encore contractée, cette fois sur CA. La fibration ^ = cte est invariante par <Î>a ; la seule fibre invariante 
est z = 0. Le feuilletage z-^ + {t — x)^^ — z^^ est invariant par <Î>a. On constate que l'ensemble des matrices 
non inversibles est invariant par Oa, les 2-plans x = z = 0,y = t = 0, z = t = aussi. Toute matrice de la 



X 



commute à A; par conséquent 



forme 
et par ' 

Comme au §4.1.7 on démontie l'énoncé suivant. 



X fj 
X 



X, fj £ C > est invaiiant par multiplication par A 



Proposition 4.6. 

commute à A. 



Soit A la matrice 



1 1 
1 



. Le groupe Aut(fAf (2;C);<Î>a) est engendré par les ap où P 



4.2.1. Étude des points fixes et périodiques 
0, 



On peut vérifier que les points fixes de <Î>a sont 
-1 



1 



1 y 





je 



D'après ce qui précède les points périodiques de <Î>a sont contenus dans l'hyperplan z = 0. Un calcul montre 
que 



X y 
t 



i=0 



k=\ 



i=k 







Si {x,y,Z-,t) est un point périodique de <Î>a de période n, alors z = et 

a. ou bien x = t_ = 0; 

b. ou bien x^"^^ = 1 et f = 0; 

c. ou bien X = et £^"^' = 1; 



t). ou bien x 



2"-l 



.2"-! 



1. 



Examinons ces éventualités au cas par cas. 

0. Si X = /_ = alors nécessairement j = 0, i.e. est périodique. 

b. Si x^"^^ = 1 et /_ = 0, on constate que (x,3;,0,0), x^"^^ = 1, est périodique de période n. 

c. Six = 0et£2"-i = 1, alors <î>;^(0,j,0,f) = {0,y + nt_,0,t_). 

on 1 on 1 

î). Plaçons-nous maintenant dans le second cas : x = £ = 1. Nous allons raisonner suivant que £ = x 
et £ / X. 

Dans un premier temps supposons que £ = x auquel cas ^'^{x,y,0,x) = (x^ ,2"y + (2" — l)x,0,x^ ) ; ces 
considérations produisent les points périodiques suivants {{x,—x,0,x) = l). 

n>0 
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Reste l'éventualité x^t_. Posons 

n-l . . 



(=0 



n-l 



k=\ 



Sous toutes ces notations et hypothèses nous avons 

<Î>A = ii' , Bn (X, t_)y + Cn{x,t_),0, f ) , 



X^t_. 



Nous sommes donc ramenés à considérer l'équation Bn{x,t)y + Cn{x,t) = 3^ oii ^, ? sont des racines (2" — 1)- 
ième de l'unité distinctes. On peut vérifier que Bn{x,t) = 1. Si pour chaque couple (jç,f) de racines (2" — 1)- 
ième de l'unité distinctes Cn{x,t_) est non nul, il n'y a pas de point périodique de période n de la forme 
{x,y,0,l) avec x t_, ^ = = l ; sinon, pour tous les {x,t_) tels que 

x^t_, C„{x,t_)=0, 



1, 



les {x,y,0,l) sont des points périodiques de période n. 

Notons qu'il arrive que C„(jç,£) soit non nul, par exemple lorsque n = 2, t_ = ] &t x= \. 



4.2.2. Étude de quelques orbites non périodiques. — Comme précédemment nous avons det<î>A(M) = (detM)^ 
et donc det<î>^ (M) = (detM)^ .Ainsi, pour tout M satisfaisant |detM| > 1, nous avons lim ||<Î>^(M)|| = +oo. 



Comme dans le cas diagonal, si M appartient au polydisque A(p), alors ||<Î>a(M)|| < 2p et ||<Î>^(M)|| < 



2^ ^p^ qui entraîne l'inclusion 



A(-)cWi(0). 



Donnons quelques exemples d'orbites bornées. Remarquons que (^\{x,y,0,x) =x^" ' {x, (2" — l)x+l'^y,0,x) ; 
par suite, dès que M est de la forme 



X —X 
X 



avec \x\ < 1 



ou 



X y 
X 



avec \x\ < 1 et (2" — l)x + 2"y = pour un certain n 



l'orbite de M est bornée. 

Puisque <î>^(0, j,0,f) = t^"^^ {0,nt +y,0,t) , l'orbite de 
entier n, est bornée. 

Étant donné que <î>^(.x, j,0,0) = x^"^^ [x,y,0,0), toute matrice 



y 
t 



avec |?| < 1 et y = —nt pour un certain 



X y 




avec Ul < 1 a une orbite bornée. 



Problèmes 7. — 1) Décrire les points périodiques de l'appUcation <Î>a et leur adhérence. 
2) Décrire le bassin d'attraction W^(0) et son bord. 
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